TAILIEUCHUNG - Bài giảng Xử lý ngôn ngữ tự nhiên (Natural language processing): Bài 9 - Viện Công nghệ Thông tin và Truyền thông

Bài giảng Xử lý ngôn ngữ tự nhiên (Natural language processing): Bài 9 cung cấp cho học viên những nội dung về: dịch máy; ba khối chính trong dịch máy; các phương pháp dịch máy; cách tiếp cận siêu ngôn ngữ sử dụng nghĩa; dịch máy thống kê; thuật toán dóng hàng từ; . Mời các bạn cùng tham khảo chi tiết nội dung bài giảng! | Dịch máy Viện CNTT amp TT Trường ĐHBKHN 1 Ví dụ Au sortir de la saison 97 98 et surtout au debut de cette saison 98 99 With leaving season 97 98 and especially at the beginning of this season 98 99 2 Các vấn đề 1. Xử lý sự giống và khác nhau giữa các ngôn ngữ Hình vị số âm tiết từ Ngôn ngữ đơn âm tiết tiếng Việt Trung Quốc 1 tiếng từ Ngôn ngữ đa âm tiết Siberian Yupik 1 từ cả 1 câu Mức độ phân chia âm tiết 3 Các vấn đề 2. Cú pháp trật tự từ trong câu To Yukio Yukio ne Tiếng Anh tiếng Việt The affix1 red affix2 flag head Lá cờ head đỏ affix2 ấy affix1 3. Các nét riêng biệt English brother Vietnamese anh em English wall German wand inside mauer outside German berg English hill mountain 4 Không gian khái niệm Khoảng trống từ vựng tiếng Nhật không có từ nào nghĩa privacy tiếng Anh không có từ ứng với yakoko lòng hiếu thảo 5 Ba khối chính trong dịch máy ngôn ngữ hiểu dịch nguồn S ngôn ngữ đích ngôn ngữ ngôn ngữ T thông tin ánh xạ ngôn ngữ nguồn - đích 6 Hiểu ngôn ngữ 1. Nhập nhằng từ vựng English book - Spanish libro reservar Sử dụng thông tin cú pháp 2. Nhập nhằng cú pháp I saw the guy on the hill with the telescope 3. Nhập nhằng ngữ nghĩa E While driving John swerved amp hit a tree John s car S Minetras que John estaba manejando se desvio y golpeop con un arbo 7 Các phương pháp dịch máy cao siêu ngôn ngữ siêu ngôn ngữ mức trừu ngữ nghĩa tượng cú pháp dịch chuyển đổi a g thấp s t từ-từ dịch trực tiếp a a s g f a s f hàm chuyển đổi t g f a s 8 Sơ đồ chuyển đổi 9 Luật chuyển đổi 10 Sơ đồ chuyển đổi 11 Cách tiếp cận siêu ngôn ngữ sử dụng nghĩa Chuyển đổi các luật chuyển đổi từ ngôn ngữ này sang ngôn ngữ khác Đối tượng sự kiện ontology 12 Dịch máy thống kê 13 Các kiểu dịch máy cao mức độ siêu ngôn ngữ trừu tượng ngữ nghĩa chuyển đổi cú pháp a g thấp s t từ-từ 14 ý tưởng Coi việc dịch như bài toán kênh có nhiễu Input Nguồn Noisy Output đích The channel E English words. adds noise F Les mots Anglais. Mô hình dịch P E F P F E P E P F Khôi phục lại E khi biết F Sau khi đơn .

• Kỹ thuật lập trình
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Natural language processing
• Phương pháp dịch máy
• Dịch máy thống kê
• Thuật toán dóng hàng từ
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Phân tích ngữ nghĩa
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Hiểu ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học