TAILIEUCHUNG - Ứng dụng mô hình Skip - thought giải quyết bài toán tìm kiếm câu đồng nghĩa trong văn bản

Đánh giá mức độ đồng nghĩa giữa các câu là nhiệm vụ trọng tâm để thực hiện mục tiêu hiểu ngôn ngữ tự nhiên - một trong những thách thức lớn trong xử lý ngôn ngữ tự nhiên. Sử dụng Deep Learning cho bài toán so khớp ngữ nghĩa của câu đã thay đổi cách tiếp cận, khắc phục được những khó khăn mà các phương pháp truyền thống trước đây gặp phải. | Ứng dụng mô hình Skip - thought giải quyết bài toán tìm kiếm câu đồng nghĩa trong văn bản Nghiên cứu khoa học công nghệ ỨNG DỤNG MÔ HÌNH SKIP-THOUGHT GIẢI QUYẾT BÀI TOÁN TÌM KIẾM CÂU ĐỒNG NGHĨA TRONG VĂN BẢN Ngô Hữu Phúc1, Vi Bảo Ngọc1*, Nguyễn Viết Học1, Đoàn Văn Hòa2 Tóm tắt: Đánh giá mức độ đồng nghĩa giữa các câu là nhiệm vụ trọng tâm để thực hiện mục tiêu hiểu ngôn ngữ tự nhiên - một trong những thách thức lớn trong xử lý ngôn ngữ tự nhiên. Sử dụng Deep Learning cho bài toán so khớp ngữ nghĩa của câu đã thay đổi cách tiếp cận, khắc phục được những khó khăn mà các phương pháp truyền thống trước đây gặp phải. Nhiều thuật toán đã được phát triển để có thể biểu diễn câu bằng một vector với số chiều cố định, việc này giúp cho việc xử lý ngôn ngữ tự nhiên dựa trên câu trở nên dễ dàng và hiệu quả hơn. Các phương pháp trên đều trích rút đặc trưng thủ công hoặc sử dụng các thuật toán học có giám sát nhưng với không gian ngữ liệu ngày càng phong phú, các phương pháp này tỏ ra không còn hiệu quả. Điều đó là động lực để ra đời các phương pháp học không giám sát, tận dụng sức mạnh tính toán của thiết bị hiện nay. Skip–thought là một trong những mô hình Deep Learning điển hình cho việc sử dụng thuật toán học không giám sát trong xử lý ngôn ngữ tự nhiên. Trong nghiên cứu này, mô hình Skip- thought để tìm kiếm câu đồng nghĩa trong văn bản tiếng Việt. Với thử nghiệm trên bộ ngữ liệu VnPara, mô hình Skip-thought đạt độ chính xác lên đến , vượt trội so với độ chính xác . đã đạt được trước đây. Từ khóa: Xử lý ngôn ngữ tự nghiên; Học sâu; Skip – thought; Câu đồng nghĩa. 1. ĐẶT VẤN ĐỀ Đánh giá độ tương đồng về ngữ nghĩa trong xử lý ngôn ngữ tự nhiên có rất nhiều ứng dụng trong thực tiễn, ví dụ như xác định quan hệ giữa các câu truy vấn trong máy tìm kiếm, tạo từ khóa cho quảng cáo. Trong y học, có thể kể đến các ứng dụng như phân cụm gene, tìm kiếm gen bệnh, biểu diễn gene. Trong xử lý ngôn ngữ tự nhiên, đánh

• Ngôn ngữ học
• Xử lý ngôn ngữ tự nhiên
• Câu đồng nghĩa
• Mô hình Skip thought
• Câu đồng nghĩa trong văn bản
• Ngữ nghĩa câu truy vấn
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học