TAILIEUCHUNG - Trích chọn collocation tiếng Việt từ kho ngữ liệu văn bản

Collocation đóng vai trò quan trọng trong các ứng dụng xử lý ngôn ngữ tự nhiên cũng như biên soạn từ điển. Tuy nhiên, ở Việt Nam hiện nay, nghiên cứu về collocation là một lĩnh vực khá mới mẻ. Bài báo này tập trung vào nghiên cứu một số phương pháp trích chọn collocations nhằm tìm ra mô hình hiệu quả cho việc trích chọn collcations trong tiếng Việt. | TẠP CHÍ KHOA HỌC SỐ 2 2016 117 TRÍCH CHỌN COLLOCATION TIẾNG VIỆT TỪ KHO NGỮ LIỆU VĂN BẢN Đỗ Thị Ngọc Quỳnh1 Trường Đại học Thủ đô Hà Nội Tóm tắt Collocation đóng vai trò quan trọng trong các ứng dụng xử lý ngôn ngữ tự nhiên cũng như biên soạn từ điển. Tuy nhiên ở Việt Nam hiện nay nghiên cứu về collocation là một lĩnh vực khá mới mẻ. Bài báo này tập trung vào nghiên cứu một số phương pháp trích chọn collocations nhằm tìm ra mô hình hiệu quả cho việc trích chọn collcations trong tiếng Việt. Các phương pháp được nêu ra bao gồm một số phương pháp thống kê cổ điển thường được sử dụng như frequency t-test chi-square mutual information đồng thời đề xuất một số phương pháp tổng hợp nhằm tăng độ chính xác của quá trình trích chọn. Không chỉ dừng lại ở các phương pháp chúng tôi cũng tiến hành nghiên cứu ảnh hưởng của việc tiền xử lý dữ liệu lên độ chính xác của chương trình trích chọn. Dữ liệu thử nghiệm bao gồm cả dữ liệu thô chưa qua xử lý dữ liệu đã được qua một bộ gán nhãn từ loại và dữ liệu đã được phân tích cú pháp. Thông qua việc chạy các chương trình với đầu vào dữ liệu khác nhau so sánh độ chính xác của các phương pháp chúng tôi đề xuất mô hình trích chọn hiệu quả cho tiếng Việt sử dụng độ đo ngôn ngữ. Từ khóa collocation t-test chi-square mutual information độ đo ngôn ngữ cụm từ cố định. 1. GIỚI THIỆU Collocations được hiểu là một thể hiện của hai hoặc nhiều từ tương ứng với một cách nói thông thường. Chúng cũng được biết đến như là một lớp của các nhóm từ nằm giữa thành ngữ và sự kết hợp từ tự do 4 . Tuy nhiên rất khó để có thể phân địch rạch ròi giữa một cụm từ và một collocation. Thành ngữ và cụm từ thể hiện trong ngôn ngữ không chỉ về mặt ngữ pháp đặc biệt nghĩa của chúng không phải là sự kết hợp nghĩa của từng thành phần không thể đoán ý nghĩa của một thành ngữ từ nó chứa. Hơn nữa nghĩa của thành ngữ thường mạnh hơn nghĩa của cụm từ không phải là thành ngữ. 1 Nhận bài ngày gửi phản biện và duyệt đăng ngày . Liên hệ tác giả Đỗ Thị Ngọc

• Ngôn ngữ học
• Độ đo ngôn ngữ
• Trích chọn collocation tiếng Việt
• Kho ngữ liệu văn bản
• Xử lý ngôn ngữ tự nhiên
• Tiêu chuẩn hóa tiếng Việt
• Độ tương tự ngữ nghĩa song ngữ
• Nhúng từ song ngữ
• Mô hình mạng nơron
• Không gian vector biểu diễn ngữ nghĩa
• Ngữ nghĩa song ngữ Việt Anh
• phần mềm chuyển đổi dữ liệu
• máy đo tọa độ 3D
• phần mềm CAD CAM
• ngôn ngữ lập trình
• công nghệ thông tin
• luận văn thạc sĩ
• Tạp chí khoa học
• Phương pháp nội suy tuyến tính
• Nội suy tuyến tính mờ
• Giá trị ngôn ngữ
• Nội suy tuyến tính
• Bài toán mô hình mờ
• báo cáo khoa học
• nghiên cứu khoa học
• kinh tế xã hội
• nhân văn
• khoa học chuyên ngành
• trình bày báo cáo
• tài liệu báo cáo khoa học
• báo cáo ngành kỹ thuật
• báo cáo khoa học tin học
• báo cáo khoa học vật lý
• Cơ sở toán học
• khoa học điều khiển
• hệ thống kỹ thuật
• điều khiển học
• nghiên cứu tin học
• Lý thuyết thuật toán
• tự động học
• Nghệ thuật chăm con
• Chu trình sinh hoạt của trẻ
• Quá trình học ngôn ngữ của trẻ
• Đặc điểm tính cách của trẻ
• Thang đo độ nề nếp
• Chu trình E
• Kỹ năng giao tiếp với trẻ
• Công thức S
• Phương pháp nuôi dạy trẻ