Episode 1906 - May 29 - AI là một hộp đen - Anthropic đã tìm ra cách để nhìn vào bên trong - Vina Technology at AI time - Lê Quang Văn | Podcast - Nhac.vn

AI là một hộp đen - Anthropic đã tìm ra cách để nhìn vào bên trong

Tác giả: Steven Levy. WIRED. Ngày 21 tháng 5, 2024. Lê Quang Văn dịch, giải thích và thực hiện phần kỹ thuật số.

Những gì diễn ra trong công việc của mạng thần kinh nhân tạo phần lớn là một bí ẩn, ngay cả đối với những người tạo ra chúng. Nhưng các nhà nghiên cứu từ Anthropic đã bắt gặp một cái nhìn thoáng qua.

Trong thập kỷ qua, nhà nghiên cứu AI Chris Olah đã bị ám ảnh bởi các mạng thần kinh nhân tạo. Một câu hỏi đặc biệt thu hút anh ấy, và là trung tâm công việc của anh ấy, đầu tiên tại Google Brain, sau đó là OpenAI, và ngày nay tại công ty khởi nghiệp AI Anthropic, nơi anh ấy là người đồng sáng lập. "Chuyện gì đang xảy ra bên trong chúng?" ông nói. "Chúng tôi có những hệ thống này, chúng tôi không biết chuyện gì đang xảy ra. Có vẻ điên rồ."

Câu hỏi đó đã trở thành mối quan tâm cốt lõi khi AI tạo nội dung đã trở nên phổ biến. Các mô hình ngôn ngữ lớn như ChatGPT, Gemini và Claude của Anthropic đã khiến mọi người lóa mắt với khả năng ngôn ngữ của chúng và khiến mọi người tức giận với xu hướng bịa đặt mọi thứ. Tiềm năng của chúng để giải quyết các vấn đề khó khăn trước đây mê hoặc những người lạc quan về công nghệ. Nhưng các mô hình ngôn ngữ lớn là những người xa lạ ở giữa chúng ta. Ngay cả những người xây dựng chúng cũng không biết chính xác chúng hoạt động như thế nào, và cần phải có nỗ lực lớn để tạo ra lan can bảo vệ để ngăn chúng tạo ra sự thiên vị, thông tin sai lệch và thậm chí cả bản thiết kế cho vũ khí hóa học chết người. Nếu những người xây dựng các mô hình biết những gì đã xảy ra bên trong những "hộp đen" này, sẽ dễ dàng hơn để làm cho chúng an toàn hơn.

Olah tin rằng chúng ta đang trên con đường dẫn đến điều này. Anh ta dẫn đầu một nhóm Anthropic đã nhìn trộm bên trong hộp đen đó. Về cơ bản, họ đang cố gắng đảo ngược các mô hình ngôn ngữ lớn để hiểu lý do tại sao các mô hình ngôn ngữ lớn đưa ra các kết quả đầu ra cụ thể và theo một bài báo được phát hành ngày hôm nay, họ đã đạt được tiến bộ đáng kể.

Có thể bạn đã thấy các nghiên cứu khoa học thần kinh giải thích quét MRI để xác định xem bộ não con người đang giải trí những suy nghĩ về máy bay, gấu bông hay tháp đồng hồ. Tương tự, Anthropic đã lao vào mớ hỗn độn kỹ thuật số của mạng lưới thần kinh của mô hình ngôn ngữ lớn, Claude, và xác định chính xác sự kết hợp của các tế bào thần kinh nhân tạo thô sơ của nó gợi lên các khái niệm cụ thể, hoặc "tính năng". Các nhà nghiên cứu của công ty đã xác định được sự kết hợp của các tế bào thần kinh nhân tạo biểu thị các tính năng khác nhau như burritos, dấu chấm phẩy trong mã lập trình và - rất nhiều cho mục tiêu lớn hơn của nghiên cứu - vũ khí sinh học chết người. Công việc như thế này có ý nghĩa rất lớn đối với sự an toàn của AI: Nếu bạn có thể tìm ra nơi nguy hiểm ẩn nấp bên trong mô hình ngôn ngữ lớn, có lẽ bạn được trang bị tốt hơn để ngăn chặn nó.

Tôi đã gặp Olah và ba đồng nghiệp của anh ấy, trong số 18 nhà nghiên cứu Anthropic trong nhóm "khả năng diễn giải cơ học - mechanistic interpretability ". Họ giải thích rằng cách tiếp cận của họ xử lý các tế bào thần kinh nhân tạo giống như các chữ cái của bảng chữ cái phương Tây, thường không có ý nghĩa riêng nhưng có thể được xâu chuỗi lại với nhau một cách tuần tự để có ý nghĩa. "C thường không có nghĩa là gì đó," Olah nói. "Nhưng car thì có." Giải thích mạng lưới thần kinh theo nguyên tắc đó liên quan đến một kỹ thuật gọi là học từ điển (dictionary learning), cho phép bạn liên kết một tổ hợp các tế bào thần kinh, khi được bắn đồng loạt, gợi lên một khái niệm cụ thể, được gọi là một tính năng.

"Đó là một điều gây hoang mang", Josh Batson, một nhà khoa học nghiên cứu Anthropic nói. "Chúng tôi đã đặt hàng 17 triệu khái niệm khác nhau [trong LLM] và chúng không được dán nhãn để giúp cho sự hiểu biết của chúng tôi. Vậy chúng ta cứ đi xem, các mẫu đó xuất hiện từ khi nào?" ["mẫu" đề cập đến những cách dễ nhận biết và định kỳ trong đó dữ liệu hoặc khái niệm xuất hiện và được tổ chức trong mô hình ngôn ngữ lớn.]