TAILIEUCHUNG - Các tiêu chí ngôn ngữ trong việc xây dựng kho ngữ liệu tiếng Việt

Bài viết trình bày các tiêu chí lấy mẫu ngôn ngữ trong việc xây dựng kho ngữ liệu cân bằng bao gồm: Lựa chọn văn bản, tính đại diện, tính cân bằng, chủ đề, kích thước và tính đồng nhất. Chúng tôi áp dụng các tiêu chí này vào việc xây dựng kho ngữ liệu tiếng Việt (Vietnamese Corpus – VnC ) với kích thước 100 triệu từ bao gồm 10 % văn bản nói và 90 % văn bản viết được thu thập chủ yếu từ năm 2000 đến nay. | Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIII về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin FAIR Nha Trang ngày 8-9 10 2020 DOI CÁC TIÊU CHÍ NGÔN NGỮ TRONG VIỆC XÂY DỰNG KHO NGỮ LIỆU TIẾNG VIỆT Võ Diệp Như Đinh Điền Trung tâm Ngôn ngữ học Tính toán Đại học Khoa học Tự nhiên ĐHQG TP. HCM vodiepnhu@ ddien@ TÓM TẮT Trong lĩnh vực xử lý ngôn ngữ tự nhiên việc sử dụng các mô hình máy học để phụ vụ giải quyết các bài toán càng chiếm ưu thế. Tuy nhiên để có được kết quả tốt cần có ngữ liệu huấn luyện đạt yêu cầu mang được tính đại diện cho ngôn ngữ. Vì thế kho ngữ liệu cần đảm bảo được tính đại diện tính cân bằng cụ thể là lấy mẫu ngôn ngữ có kích thước phù hợp theo các tiêu chí khi xây dựng kho ngữ liệu. Trong phạm vi bài báo chúng tôi trình bày các tiêu chí lấy mẫu ngôn ngữ trong việc xây dựng kho ngữ liệu cân bằng bao gồm lựa chọn văn bản tính đại diện tính cân bằng chủ đề kích thước và tính đồng nhất. Chúng tôi áp dụng các tiêu chí này vào việc xây dựng kho ngữ liệu tiếng Việt Vietnamese Corpus VnC với kích thước 100 triệu từ bao gồm 10 văn bản nói và 90 văn bản viết được thu thập chủ yếu từ năm 2000 đến nay. Từ khóa Kho ngữ liệu xây dựng kho ngữ liệu thu thập ngữ liệu ngôn ngữ học ngữ liệu. I. GIỚI THIỆU Việc sử dụng và khai thác các kho ngữ liệu đã mang lại nhiều kết quả ứng dụng hữu ích trong nhiều lĩnh vực từ nghiên cứu ngôn ngữ giảng dạy ngôn ngữ cho đến các lĩnh vực khác như kinh tế thương mại đời sống xã hội hay công tác điều tra . Đặc biệt là phải kể đến ứng dụng trong ngôn ngữ học - máy tính. Việc khai thác các kho ngữ liệu thực tế rút trích các quy luật ngôn ngữ theo nhiều phương pháp thống kê máy học để áp dụng những quy luật này vào các trường hợp tương tự nhằm giải quyết các bài toán trong thực tế. Tuy nhiên để kết quả có thể đạt được độ chính xác như mong muốn thể hiện được đặc trưng sử dụng ngôn ngữ của một cộng đồng người sử dụng trong một khoản thời gian nhất định thì những kho ngữ liệu cần

• Cơ sở dữ liệu
• Kho ngữ liệu
• Xây dựng kho ngữ liệu
• Công nghệ thu thập ngữ liệu
• Ngôn ngữ học ngữ liệu
• Quá trình xây dựng VnC 1 0
• Xây dựng kho ngữ liệu song ngữ Anh Việt
• Cấu trúc các kho ngữ liệu song ngữ
• Mẫu ngữ liệu song ngữ
• Song ngữ Anh Việt
• Hai kho ngữ liệu câu Anh Việt
• Kho ngữ liệu đa ngữ
• Xử lý ngôn ngữ tự nhiên
• Kho ngữ liệu đa ngữ Việt ÊĐê
• Phông chữ Unicode
• Ngữ âm tiếng ÊĐê
• Dịch tự động
• Cải tiến chất lượng dịch tự động
• Mở rộng kho ngữ liệu
• Cải tiến chất lượng dữ liệu
• Xây dựng kho ngữ vựng song ngữ
• Ngữ vựng song ngữ Việt Ê Đê
• Mô hình tương tác Việt Ê Đê
• Kho ngữ vựng
• Ngôn ngữ người dân tộc thiểu số
• Tóm tắt Luận văn Thạc sĩ Kỹ thuật
• Song ngữ Việt Khmer
• Kho ngữ vựng song ngữ Việt Khmer
• Xây dựng kho ngữ vựng
• Văn hóa Khmer
• Văn hóa Việt
• Tóm tắt Luận án Tiến sĩ
• Luận án Tiến sĩ
• Luận án Tiến sĩ Ngôn ngữ học
• Kho ngữ liệu giáo khoa tiếng Anh
• Ngữ nghĩa tiếng Việt
• Kho ngữ vựng tiếng Việt
• Xử lý tiếng Việt
• Luận văn thạc sĩ
• Luận văn thạc sĩ kỹ thuật
• Luận văn khoa học máy tínhĩ
• Luận văn khoa học máy tính
• Dữ liệu dịch tự động
• Hệ thống dịch tự động
• Kho ngữ liệu song ngữ
• Chất lượng dịch tự động
• Đánh giá chất lượng hệ thống dịch
• Phân loại người Khơ Me song ngữ Việt
• Nghiên cứu người song ngữ
• Đặc điểm của nhóm người song ngữ
• Người Khơ Me song ngữ Việt
• Đồng bào Khơ me Nam Bộ
• Từ điển Anh Việt
• Từ điển song ngữ
• Trích rút cụm từ song ngữ
• Xây dựng kho ngữ liệu song ngữ
• Từ điển song ngữ Việt Anh miền du lịch
• Khai thác kho ngữ liệu chú giải cú pháp
• Phân tích cú pháp tiếng Việt
• Khai thác kho ngữ liệu
• Cú pháp tiếng Việt
• Probability Context Free Grammar
• Song ngữ Việt Êđê
• Kỹ thuật tách từ
• Tìm hiểu tiếng Êđê
• Dịch máy thống kê
• Dịch máy Việt–Anh
• Dữ liệu song ngữ
• Gióng hàng song ngữ
• Kho văn bản du lịch
• Độ đo ngôn ngữ
• Trích chọn collocation tiếng Việt
• Kho ngữ liệu văn bản
• Tiêu chuẩn hóa tiếng Việt
• Cấu trúc ngữ nghĩa Hán Việt
• Từ vựng Hán Việt trong
• Kho tàng tục ngữ người Việt
• Tục ngữ người Việt
• Văn học dân gian
• Văn học dân gian Việt Nam
• Văn học Việt Nam
• Tra cứu tục ngữ Việt Nam
• Bảng tra tục ngữ
• kho tàng ca dao hay
• kho tàng ca dao việt nam
• tuyển tập ca dao Việt nam
• tục ngữ ca dao Việt Nam
• bộ sưu tập ca dao tục ngữ