Episode 1913 - May 30 - Phần 3 của 3 - AI có thể lập kế hoạch không - Vina Technology at AI time - Lê Quang Văn | Podcast - Nhac.vn

AI có thể lập kế hoạch không? – Phần 3 của 3

Tác giả: Cal Newport. nhà văn đóng góp cho The New Yorker và là phó giáo sư khoa học máy tính tại Đại học Georgetown. Ngày 15 tháng 3 năm 2024.

Lê Quang Văn dịch, giải thích và thực hiện phần kỹ thuật số.

Con người có thể dễ dàng hoàn thành nhiệm vụ này: bài thơ trên, khủng khiếp như nó vốn có, thỏa mãn lời nhắc và tôi mất chưa đầy một phút để sáng tác. GPT-4, mặt khác, vấp ngã. Khi nhóm của Bubeck yêu cầu họ thử bài tập, chatbot bắt đầu bài thơ của mình bằng dòng "Tôi nghe thấy giọng nói của anh ấy trong đám đông" - một quyết định thiếu sáng suốt dẫn đến, chắc chắn, đến dòng kết luận vô nghĩa "Crowd the across voice his heard I." Để thành công trong thử thách viết thơ này, bạn cần suy nghĩ về việc viết dòng cuối cùng trước khi sáng tác dòng đầu tiên. GPT-4 đã không thể nhìn vào tương lai theo cách đó. "Mô hình dựa trên một quá trình cục bộ và tham lam để tạo ra từ tiếp theo, mà không có bất kỳ sự hiểu biết toàn thể hoặc sâu sắc nào về nhiệm vụ hoặc đầu ra", các nhà nghiên cứu viết.

Nhóm của Bubeck không phải là người duy nhất khám phá cuộc đấu tranh lập kế hoạch. Vào tháng Mười Hai, một bài báo được trình bày tại Neural Information Processing Systems, một hội nghị trí tuệ nhân tạo nổi tiếng, đã yêu cầu một số mô hình ngôn ngữ lớn giải quyết "các nhiệm vụ lập kế hoạch thông thường", bao gồm sắp xếp lại các khối màu thành các ngăn xếp được sắp xếp theo những cách cụ thể và đưa ra lịch trình hiệu quả để vận chuyển hàng hóa thông qua một mạng lưới các thành phố và kết nối các con đường. Trong mọi trường hợp, các vấn đề được thiết kế để mọi người có thể dễ dàng giải quyết, nhưng cũng đòi hỏi khả năng nhìn về phía trước để hiểu làm thế nào các động thái hiện tại có thể thay đổi những gì có thể sau này. Trong số các mô hình được thử nghiệm, GPT-4 hoạt động tốt nhất; Ngay cả nó cũng chỉ có thể đạt được tỷ lệ thành công mười hai phần trăm.

Những vấn đề với kế hoạch không phải là hời hợt. Chúng không thể được sửa chữa bằng cách làm cho mô hình ngôn ngữ lớn lớn hơn, hoặc bằng cách thay đổi cách chúng được đào tạo. Chúng phản ánh một cái gì đó cơ bản về cách các mô hình này hoạt động.

Một hệ thống như GPT-4 cực kỳ phức tạp, nhưng một cách để hiểu nó là một công cụ dự đoán từ tăng áp. Bạn cung cấp cho nó đầu vào, dưới dạng văn bản, và nó tạo ra, từng từ một, một chuỗi các từ mà nó dự đoán sẽ mở rộng đầu vào một cách hợp lý. (Nếu bạn đưa ra một mô hình ngôn ngữ lớn, đầu vào "Mary had a little", nó có thể sẽ xuất ra "lamb.") Các ứng dụng AI như ChatGPT được bao bọc xung quanh các mô hình ngôn ngữ lớn như GPT-4. Để tạo phản hồi dài cho lời nhắc của bạn, ChatGPT liên tục gọi mô hình cơ bản của nó, tăng dần đầu ra từng từ một.

Để chọn từ của chúng, các mô hình ngôn ngữ bắt đầu bằng cách chạy đầu vào của họ thông qua một loạt các bộ nhận dạng mẫu, được sắp xếp thành các lớp tuần tự. Khi văn bản tiến hành thông qua dây chuyền lắp ráp thực hành này, mô hình dần dần xây dựng một đại diện nội bộ tinh vi về những gì chúng được hỏi. Có thể hữu ích khi tưởng tượng rằng mô hình có một danh sách kiểm tra rộng lớn chứa hàng tỷ thuộc tính có thể; Khi văn bản đầu vào được xử lý bởi mô hình, chúng kiểm tra tất cả các thuộc tính dường như áp dụng. Ví dụ: nếu bạn yêu cầu GPT-4 mô tả về bàn cờ và yêu cầu nó di chuyển, mô hình có thể kiểm tra các thuộc tính cho biết rằng đầu vào là về một trò chơi, rằng trò chơi là cờ vua và người dùng đang yêu cầu di chuyển. Một số thuộc tính có thể liên quan đến thông tin cụ thể hơn, chẳng hạn như thực tế là bảng được mô tả trong đầu vào có một hiệp sĩ trắng trên không gian E3; những người khác có thể mã hóa các quan sát trừu tượng, như vai trò của hiệp sĩ trắng trong không gian E3 trong việc bảo vệ vị vua của nó.

Khi đầu vào đã được xử lý, mô hình bây giờ phải áp dụng những gì nó đã học để giúp chọn từ tiếp theo. Ở đây, thật hữu ích khi mở rộng phép ẩn dụ danh sách kiểm tra của chúng ta để bao gồm một bộ sưu tập lớn các hướng dẫn để liên