TAILIEUCHUNG - Phương pháp tăng cường dữ liệu huấn luyện dịch máy thống kê cặp ngôn ngữ Việt-Anh bằng kỹ thuật Back-translation và lựa chọn thích nghi

Bài viết nghiên cứu, áp dụng BT để tăng chất lượng dữ liệu huấn luyện cho dịch máy thống kê cặp ngôn ngữ Việt-Anh (là cặp ngôn ngữ có nguồn dữ liệu hạn chế). Phương pháp đề xuất sử dụng ngôn ngữ trung gian cho BT là tiếng Đức. Các câu tiếng Anh ở dữ liệu huấn luyện ban đầu được dịch sang tiếng Đức sau đó dịch trở lại từ tiếng Đức sang tiếng Anh để tạo ra các câu tiếng Anh mới có nghĩa tương đương với các câu gốc. | Nghiên cứu khoa học công nghệ PHƯƠNG PHÁP TĂNG CƯỜNG DỮ LIỆU HUẤN LUYỆN DỊCH MÁY THỐNG KÊ CẶP NGÔN NGỮ VIỆT-ANH BẰNG KỸ THUẬT BACK - TRANSLATION VÀ LỰA CHỌN THÍCH NGHI Đặng Thanh Quyền1 Nguyễn Chí Thành1 Nguyễn Phương Thái2 Tóm tắt Dịch ngược Back-translation - BT đã được sử dụng rộng rãi và trở thành một trong những kỹ thuật tiêu chuẩn để tăng cường dữ liệu trong dịch máy bằng nơ-ron Neural Machine Translation - NMT . Việc sử dụng BT đã được chứng minh là có hiệu quả trong việc cải thiện hiệu suất dịch thuật đặc biệt đối với các trường hợp tài nguyên hạn chế. Hiện nay phần lớn các nghiên cứu liên quan đến BT chủ yếu tập trung vào các ngôn ngữ châu Âu chỉ một số ít nghiên cứu về dịch thuật ngôn ngữ ở các khu vực khác trên thế giới. Trong bài báo này chúng tôi nghiên cứu áp dụng BT để tăng chất lượng dữ liệu huấn luyện cho dịch máy thống kê cặp ngôn ngữ Việt-Anh là cặp ngôn ngữ có nguồn dữ liệu hạn chế . Phương pháp đề xuất sử dụng ngôn ngữ trung gian cho BT là tiếng Đức. Các câu tiếng Anh ở dữ liệu huấn luyện ban đầu được dịch sang tiếng Đức sau đó dịch trở lại từ tiếng Đức sang tiếng Anh để tạo ra các câu tiếng Anh mới có nghĩa tương đương với các câu gốc. Một số độ đo thích nghi được đề xuất để đánh giá tập câu tiếng Anh thu được lựa chọn các câu được đánh giá tốt để thêm vào dữ liệu huấn luyện ban đầu. Kết quả thử nghiệm trên hệ thống dịch máy thống kê MOSES với cặp ngôn ngữ Việt-Anh cho thấy nếu thêm toàn bộ câu được sinh ra bởi BT vào tập dữ liệu huấn luyện mà không áp dụng việc lựa chọn dữ liệu thì kết quả không tăng lên so với việc sử dụng dữ liệu huấn luyện ban đầu. Trong khi đó việc áp dụng các kỹ thuật lựa chọn dữ liệu thích nghi đạt được kết quả BLEU tăng lên với kết quả tốt nhất tăng thêm điểm BLEU. Từ khóa Back-translation Dịch máy thống kê Tăng cường dữ liệu. 1. ĐẶT VẤN ĐỀ Dữ liệu huấn luyện có vai trò quan trọng quyết định chất lượng các hệ thống học máy hệ thống học máy thực sự hiệu quả khi chúng ta có lượng dữ liệu đủ lớn để máy học tuy nhiên

• Tự động hoá
• Dịch máy thống kê
• Tăng cường dữ liệu
• Hệ thống học máy
• Dịch máy Việt Anh
• Kỹ thuật dịch ngược
• Mô hình dịch thống kê
• Trí thức về ngôn ngữ
• Mô hình dịch thống kê dựa vào cụm
• Hệ dịch máy thống kê
• Thông tin cú pháp
• Thông tin ngữ nghĩa
• Gióng hàng trong hệ thống dịch máy
• Gióng hàng từ
• Hệ thống dịch máy Việt Anh
• Kỹ thuật BPE
• Dịch tự động Việt K’Ho
• Phương pháp dựa vào thống kê
• Ứng dụng dịch tự động
• Quá trình xử lý tài liệu của dịch tự động
• Mô hình gióng hàng
• Sơ đồ dịch máy thống kê
• Luận án Tiến sĩ Khoa học máy tính
• Luận án Tiến sĩ
• Khoa học máy tính
• Cải tiến chất lượng dịch máy
• Chất lượng dịch máy
• Máy thống kê
• Cú pháp phụ thuộc
• Luận văn thạc sĩ
• Tóm tắt luận văn thạc sĩ
• Luận văn khoa học máy tính
• Nghiên cứu về dịch thống kê
• Luận văn nghiên cứu dịch thống kê
• Luận văn Thạc sĩ Khoa học Máy tính
• Phương pháp dịch thống kê
• Dịch tiếng Việt sang tiếng Anh
• Hệ dịch máy tự động
• Mô hình dịch máy
• Chương 2 Tổng quan
• Dịch máy thống kê dựa trê cú pháp
• Chuyển đổi trật tự
• KỸ THUẬT DỊCH MÁY THỐNG KÊ
• luận văn
• kỹ thuật điện
• luận văn thạc sỹ
• thiết kế hệ thống
• Văn phạm liên kết
• Dịch máy Việt – Anh
• Dịch máy đa ngôn ngữ
• Dịch máy dựa trên ví dụ
• Mô hình ngôn ngữ Bloom Filter
• Cải tiến dịch máy thống kê
• Xử lý ngôn ngữ tự nhiên
• Cái tiến dịch máy thống kê
• Tối ưu bảng cụm từ
• Xử lí ngôn ngữ tự nhiên
• Cải tiến chất lượng dịch máy thống kê
• Cây phân tích cú pháp phụ thuộc
• Thông tin ngữ cảnh
• Tổng công ty Dung dịch khoan
• bộ máy kế toán
• thống kê kinh tế
• báo cáo thống kê kinh tế
• thực trạng kinh tế
• tài chính kinh tế
• báo cáo
• Bài viết về Công nghệ thông tin
• Ngôn ngữ tự nhiên trong dịch máy
• Dịch máy trên cơ sở cụm từ
• Phương pháp dịch tự động
• thương mại và dịch vụ Hoàng Dương
• hệ thống kế toán
• tổ chức kế toán
• bài toán bỏ dấu
• văn bản Tiếng Việt
• lập trình hệ thống
• xây dựng phần mềm
• kỹ thuật lập trình
• tích hợp tri thức ngôn ngữ
• thự nghiệm và đánh giá
• hình thái từ tiếng anh
• thông tin biến cách của từ
• công ty TNHH Dịch vụ Thương mại Đại Lâm
• tổ chức bộ máy quản lý
• Ngữ liệu song ngữ
• Gióng hàng phân đoạn ngữ
• Bilingual corpus
• Statistical machine translation
• Chunk alignment
• Thích ứng miền
• Dịch máy nơ ron
• Dữ liệu huấn luyện hệ dịch
• Hệ dịch cặp ngôn ngữ Anh Việt
• Kỷ yếu hội nghị Quốc gia về Điện tử truyền thông
• Phương pháp dịch từ mới
• Dịch máy Hoa Việt
• Dịch thống kê Hoa Việt
• Ngữ liệu song ngữ Hoa Việt
• Khai phá tri thức
• Dịch máy Anh Việt
• tTri thức song ngữ
• Ngữ liệu song ngữ
• Văn bản song ngữ
• Dịch máy Việt–Anh
• Dữ liệu song ngữ
• Gióng hàng song ngữ
• Kho văn bản du lịch
• Khôi phục dấu tự động
• Dịch máy dựa trên cú pháp
• Suy diễn văn phạm
• Văn phạm phi ngữ cảnh đồng bộ
• Thuật toán phân tích cú pháp CKY