TAILIEUCHUNG - Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing): Bài 6 - Lê Thanh Hương

Nội dung bài giảng cung cấp cho người học những kiến thức cơ bản về dịch máy như: Xử lý sự giống và khác nhau giữa các ngôn ngữ, cú pháp, các nét riêng biệt, nhập nhằng từ vựng, nhập nhằng cú pháp, nhập nhằng ngữ nghĩa, các phương pháp dịch máy,. . | Ví dụ Au sortir de la saison 97/98 et surtout / au debut de cette saison 98/99 Dịch máy Lê Thanh Hương Bộ môn Hệ thống Thông tin Viện CNTT &TT – Trường ĐHBKHN Email: huonglt-fit@ With leaving season 97/98 and especially at the beginning of this season 98/99 1 2 Các vấn đề Các vấn đề 2. 1. Xử lý sự giống và khác nhau giữa các ngôn ngữ Cú pháp: trật tự từ trong câu To Yukio; Yukio ne Tiếng Anh – tiếng Việt: The (affix1) red (affix2) flag (head) Lá cờ (head) đỏ (affix2) ấy (affix1) Hình vị: # số âm tiết/từ: Ngôn ngữ đơn âm tiết ( tiếng Việt, Trung Quốc) – 1 tiếng/từ Ngôn ngữ đa âm tiết (Siberian Yupik), 1 từ = cả 1 câu 3. Mức độ phân chia âm tiết Các nét riêng biệt English brother Vietnamese English wall German German berg English anh em wand (inside) mauer(outside) hill mountain 3 4 Không gian khái niệm Ba khối chính trong dịch máy ngôn ngữ nguồn S hiểu ngôn ngữ dịch ngôn ngữ ngôn ngữ đích T thông tin ánh xạ ngôn ngữ nguồn - đích Khoảng trống từ vựng: tiếng Nhật không có từ nào nghĩa privacy; tiêgns Anh không có từ ứng với yakoko (lòng hiếu thảo) 5 6 1 Hiểu ngôn ngữ Các phương pháp dịch máy 1. Nhập nhằng từ vựng: English: book - Spanish libro, reservar ⇒ Sử dụng thông tin cú pháp cao 2. Nhập nhằng cú pháp: mức trừu tượng I saw the guy on the hill with the telescope siêu ngôn ngữ ngữ nghĩa a 3. Nhập nhằng ngữ nghĩa: thấp E: While driving, John swerved & hit a tree siêu ngôn ngữ g cú p pháp áp t từ-từ s dịch chuyển đổi dịch trực tiếp a = a(s) g = f(a(s)); f – hàm chuyển đổi John’s car S: Minetras que John estaba manejando, se desvio y golpeop con un arbo t=g(f(a(s))) 8 7 Luật chuyển đổi Sơ đồ chuyển đổi 9 Sơ đồ chuyển đổi 10 Cách tiếp cận siêu ngôn ngữ: sử dụng nghĩa Chuyển đổi: các luật chuyển đổi từ ngôn ngữ này sang ngôn ngữ khác ĐỐi tượng/sự kiện (ontology) 11 12 2 Các kiểu dịch máy cao mức độ trừu tượng Dịch máy thống kê siêu ngôn ngữ a thấp ngữ nghĩa cú pháp g s t 13 } .

• Kỹ thuật lập trình
• Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Natural Language Processing
• Ngôn ngữ lập trình
• Phương pháp dịch máy
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học