Episode 2810 - September 16 - Phần 2 của 6 - Xử lý Ngôn ngữ Tự nhiên - Vina Technology at AI time - Lê Quang Văn | Podcast - Nhac.vn

Xử lý ngôn ngữ tự nhiên - Tổng quan toàn diện - Phần 2 của 6.

Akash Takyar, Giám đốc điều hành LeewayHert. Lê Quang Văn dịch, giải thích và thực hiện phần kỹ thuật số.

3 - Năm giai đoạn của quá trình xử lý ngôn ngữ tự nhiên

Năm giai đoạn của quy trình Xử lý ngôn ngữ tự nhiên là:

Phân tích từ vựng.

Phân tích từ vựng là một giai đoạn quan trọng trong Xử lý ngôn ngữ tự nhiên tập trung vào việc hiểu ý nghĩa, mối quan hệ và ngữ cảnh của từ. Đây là bước đầu tiên trong quá trình xử lý ngôn ngữ tự nhiên, nơi chương trình đầu vào được chuyển đổi thành mã thông báo theo một thứ tự cụ thể.

Mã thông báo đề cập đến các chuỗi ký tự được coi là một đơn vị duy nhất theo ngữ pháp của ngôn ngữ được phân tích.

Phân tích từ vựng tìm thấy các ứng dụng trong các tình huống khác nhau. Ví dụ, nó đóng một vai trò quan trọng trong quá trình biên dịch các ngôn ngữ lập trình. Trong ngữ cảnh này, nó lấy mã đầu vào, chia nó thành các mã thông báo và loại bỏ các khoảng trắng và nhận xét không liên quan đến ngôn ngữ lập trình. Sau khi mã hóa, trình phân tích trích xuất ý nghĩa của mã bằng cách xác định các từ khóa, hoạt động và biến được đại diện bởi các mã thông báo.

Trong trường hợp chatbot, phân tích từ vựng hỗ trợ hiểu đầu vào của người dùng bằng cách tra cứu mã thông báo trong cơ sở dữ liệu để xác định ý định đằng sau các từ và mối quan hệ của chúng với toàn bộ câu. Hình thức phân tích này có thể liên quan đến việc xem xét nhiều từ cùng nhau, còn được gọi là n-gram, để phân tích câu một cách toàn diện.

Phân tích cú pháp

Thuật ngữ "phân tích cú pháp" bắt nguồn từ tiếng Latinh "pars", có nghĩa là "một phần". Nó đề cập đến quá trình chia nhỏ một câu nhất định thành các thành phần ngữ pháp của nó. Mục tiêu là trích xuất ý nghĩa chính xác hoặc ý nghĩa từ điển từ văn bản. Phân tích cú pháp đảm bảo văn bản tuân thủ các quy tắc ngữ pháp chính thức và kiểm tra ý nghĩa. Ví dụ, một máy phân tích ngữ nghĩa sẽ từ chối một câu như "kem nóng / hot ice cream " vì nó thiếu cú pháp có ý nghĩa.

Trình phân tích cú pháp là một thành phần phần mềm được sử dụng để thực hiện các tác vụ phân tích cú pháp. Nó lấy dữ liệu đầu vào (văn bản) và cung cấp một biểu diễn cấu trúc của đầu vào bằng cách xác minh cú pháp chính xác của nó theo ngữ pháp chính thức. Trình phân tích cú pháp thường xây dựng cấu trúc dữ liệu, chẳng hạn như cây phân tích cú pháp hoặc cây cú pháp trừu tượng, để biểu diễn đầu vào theo thứ bậc.

Các trách nhiệm chính của trình phân tích cú pháp bao gồm báo cáo lỗi cú pháp, khôi phục từ các lỗi phổ biến để cho phép tiếp tục xử lý chương trình, tạo cây phân tích cú pháp, xây dựng bảng biểu tượng và tạo các biểu diễn trung gian.

Phân tích ngữ nghĩa

Phân tích ngữ nghĩa là quá trình hiểu ngôn ngữ tự nhiên, giống như giao tiếp của con người. Mục tiêu chính của nó là trích xuất ý nghĩa từ một văn bản nhất định bằng cách xem xét ngữ cảnh và sắc thái. Bằng cách tập trung vào việc giải thích theo nghĩa đen của các từ, cụm từ và câu, ngữ nghĩa nhằm mục đích khám phá từ điển hoặc ý nghĩa thực tế trong văn bản. Phân tích này bắt đầu bằng cách kiểm tra từng từ, xác định vai trò của nó trong nội dung và đánh giá các chức năng logic và ngữ pháp của nó. Hơn nữa, nó xem xét bối cảnh xung quanh hoặc ngữ liệu để hiểu ý nghĩa dự định tốt hơn và định hướng các từ với nhiều cách hiểu. Các kỹ thuật khác nhau được sử dụng để đạt được phân tích ngữ nghĩa hiệu quả:

Độ phân giải đồng tham chiếu là một kỹ thuật được sử dụng để xác định các tham chiếu của các thực thể trong văn bản, không chỉ xem xét đại từ mà còn cả các cụm từ như "điều này - this", "điều đó - that" hoặc "nó - it". Bằng cách phân tích ngữ cảnh, nó xác định cụm từ nào đề cập đến cùng một thực thể, giúp hiểu văn bản.

Ghi nhãn vai trò ngữ nghĩa liên quan đến việc xác định vai trò của các từ hoặc cụm từ liên quan đến động từ chính của câu. Nó giúp hiểu được các mối quan hệ ngữ nghĩa và vai trò của các yếu tố khác nhau trong việc truyền đạt ý nghĩa của một câu. Quá trình này hỗ trợ trong việc nắm bắt cấu trúc cơ bản và ý nghĩa của