Episode 3064 - October 17 - Phần 3 của 3 Giải thích thuật ngữ - Giải Nobel Vật lý năm 2024 - Vina Technology at AI time - Lê Quang Văn | Podcast - Nhac.vn
Giải thích thuật ngữ liên quan Giải Nobel Vật lý năm 2024 – Phần 3 của 3
4 - So sánh mạng nơ-ron và cơ học thống kê, từ quan điểm của học máy.
1. Hiểu những điều cơ bản
Mạng nơ-ron trong Machine Learning
Mạng lưới thần kinh là một thành phần cơ bản của học máy hiện đại, lấy cảm hứng từ cấu trúc và chức năng của bộ não con người. Chúng bao gồm các lớp nút liên kết với nhau (tế bào thần kinh) xử lý dữ liệu bằng cách điều chỉnh trọng số của các kết nối dựa trên dữ liệu đầu vào và đầu ra mong muốn.
• Cấu trúc:
o Lớp đầu vào: Nhận dữ liệu ban đầu.
o Lớp ẩn: Thực hiện tính toán và trích xuất tính năng.
o Lớp đầu ra: Tạo ra dự đoán hoặc phân loại cuối cùng.
• Quá trình học tập:
o Forward Propagation: Dữ liệu di chuyển qua mạng để tạo ra đầu ra.
o Lan truyền ngược: Mạng điều chỉnh trọng số dựa trên sai số giữa đầu ra dự đoán và thực tế để cải thiện độ chính xác.
• Ứng dụng:
o Nhận dạng hình ảnh và giọng nói, xử lý ngôn ngữ tự nhiên, xe tự hành và hơn thế nữa.
Cơ học thống kê
Cơ học thống kê là một nhánh của vật lý sử dụng các phương pháp thống kê để mô tả và dự đoán hành vi của các nhóm hạt lớn. Nó kết nối các tính chất vi mô của các nguyên tử và phân tử riêng lẻ với các tính chất vĩ mô của vật liệu, chẳng hạn như nhiệt độ và áp suất.
• Các khái niệm chính:
o Microstates và Macrostates: Cấu hình chi tiết của một hệ thống so với các thuộc tính quan sát được.
o Phân phối năng lượng: Làm thế nào năng lượng được lan truyền giữa các hạt.
o Entropy: Đo lường sự rối loạn hoặc ngẫu nhiên trong một hệ thống.
o Quần thể: Bộ sưu tập lớn các trạng thái có thể có của một hệ thống được sử dụng để tính trung bình các thuộc tính.
• Ứng dụng:
o Hiểu sự chuyển pha, nhiệt động lực học, khoa học vật liệu và hơn thế nữa.
2. Vẽ sự tương đồng giữa mạng nơ-ron và cơ học thống kê
Trong khi mạng lưới thần kinh và cơ học thống kê bắt nguồn từ các lĩnh vực khác nhau (khoa học máy tính so với vật lý), chúng chia sẻ những điểm tương đồng hấp dẫn, đặc biệt là khi nhìn qua lăng kính của học máy.
a. Cơ sở xác suất
• Mạng lưới thần kinh:
o Thường liên quan đến các diễn giải xác suất, đặc biệt là trong các mô hình như mạng lưới thần kinh Bayes.
o Các kỹ thuật như bỏ học giới thiệu sự ngẫu nhiên để ngăn chặn tình trạng quá tải.
• Cơ học thống kê:
o Về cơ bản xác suất, đối phó với khả năng các hệ thống ở các trạng thái khác nhau.
o Các khái niệm như hàm phân vùng định lượng xác suất của các cấu hình khác nhau.
Kết nối trong học máy: Cả hai khuôn khổ đều dựa vào sự hiểu biết và quản lý xác suất, cho dù đó là khả năng kích hoạt tế bào thần kinh hay phân phối xác suất của trạng thái hạt.
b. Mô hình dựa trên năng lượng
• Mạng lưới thần kinh:
o Mô hình dựa trên năng lượng (EBM): Một lớp các mạng thần kinh trong đó mạng gán năng lượng cho mỗi cấu hình của các biến. Các trạng thái năng lượng thấp hơn có nhiều khả năng xảy ra hơn.
o Ví dụ bao gồm mạng Hopfield và máy Boltzmann.
• Cơ học thống kê:
o Sử dụng các chức năng năng lượng để mô tả trạng thái của một hệ thống, trong đó các hệ thống có xu hướng di chuyển về trạng thái năng lượng thấp hơn.
Kết nối trong học máy: EBM trong mạng thần kinh được lấy cảm hứng trực tiếp từ cơ học thống kê, sử dụng các khái niệm tương tự về giảm thiểu năng lượng để tìm các trạng thái hoặc giải pháp có thể xảy ra.
c. Tối ưu hóa và học tập
• Mạng lưới thần kinh:
o Tập luyện liên quan đến việc tối ưu hóa chức năng giảm để điều chỉnh trọng lượng, thường sử dụng các kỹ thuật như giảm độ dốc.
o Cảnh quan của hàm tổn thất có thể có nhiều cực tiểu cục bộ, giống như cảnh quan năng lượng trong vật lý.
• Cơ học thống kê:
o Nghiên cứu cảnh quan năng lượng để hiểu cách các hệ thống ổn định thành trạng thái cân bằng.
o Các khái niệm như ủ mô phỏng vay mượn từ cơ học thống kê để tìm mức tối thiểu toàn cầu trong các bài toán tối ưu hóa.
Kết nối trong học máy: Các kỹ thuật tối ưu hóa trong mạng nơ-ron được lấy cảm hứng từ các quá trình vật lý được nghiên cứu trong cơ học thống kê, tận dụng những hiểu biết sâu sắc để điều hướng các
