TAILIEUCHUNG - Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing): Bài 5 - Lê Thanh Hương

Chương này tiếp tục những nội dung cơ bản về phân tích ngữ nghĩa như: Cách biểu diễn vị từ, sử dụng lượng từ, thời, các thuộc tính về sự kiện, trật tự của lượng từ, phân tích ngữ nghĩa câu, ngữ nghĩa thành phần, cách biểu diễn ngữ nghĩa cơ bản,. . | Tại sao cần phân tích ngữ nghĩa Phân tích ngữ nghĩa z z z Lê Thanh Hương g Bộ môn Hệ thống Thông tin Viện CNTT &TT – Trường ĐHBKHN Email: huonglt-fit@ trả lời và cho điểm bài đọc hiểu đọc thực đơn và đặt món ăn đọc hướng dẫn sử dụng để hiểu cách sử d dụng 1 2 Thế nào được coi là hiểu? Thế nào được coi là hiểu? z z z z VD: “cho tất cả đồ chơi vào giỏ” z z nếu có thể xác định 1 phát biểu là đúng hay sai z nếu có thể sử dụng nội dung đó để trả lời câu hỏi z nếu có thể phản ứng phù hợp hiểu NP nghĩa là xác định được NP đó đề cập đến cái gì Dễ: Mai ăn kẹo. Æ Mai ăn gì? Khó: Nước đi đầu tiên của quân trắng là P-Q4. Æ Quân đen có thể chiếu tướng không? nếu có thể dịch: phụ thuộc vào ngôn ngữ đích z Anh – Anh? Anh – Pháp? z Anh – logic ? z z z có thể được cần hiểu sâu tất cả loài cá đều biết bơi = ∀x [fish(x) ⇒can_swim(x)] 3 4 Một số khái niệm cơ bản về logic Logic: thuật ngữ Lambda 3 loại đối tượng cơ bản: z Giá trị - Booleans 1. z λ: z là giá trị ngữ nghĩa của câu z Thực thể - Entities 2. z z Giá trị của NP NP, vd vd., các đối tượng như bàn bàn, ghế ghế, thời gian z Hàm 3. z z z là cách để viết 1 hàm “bất kỳ” z Hàm trả về giá trị nhị phân gọi là vị từ (predicate). Vd., frog(x), green(x) Hàm có thể trả về 1 hàm khác Hàm có thể nhận hàm khác như tham số z 5 Không có tên hàm Được dùng để định nghĩa tính chất cơ bản của hàm Cho square = λp p*p Tương đương với int square(p) { return p*p; } Định dạng: λ 6 1 Logic: thuật ngữ Lambda Logic: Một số vị từ λ: z z z z z z z z z z Cho square = λp p*p Khi đó square(3) = (λp p*p)(3) = 3*3 Chú ý: square(x) không phải là hàm, chỉ là giá trị của x*x. Hàm: λx square(x) = λx x*x x x = λp p*p p p = square most – 1 vị từ trên 2 vị từ khác z most(pig, big) = “most pigs are big” z trả về true nếu đa số giá trị thỏa vị từ đầu tiên cũng thỏa vị từ thứ 2 z Cho even = λp (p mod 2 == 0) vị từ trả về giá trị True/False even(x) = true nếu x chẵn Còn .

• Kỹ thuật lập trình
• Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Natural Language Processing
• Ngôn ngữ lập trình
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học