TAILIEUCHUNG - Cải tiến mô hình gióng hàng trong dịch máy thống kê cặp ngôn ngữ Việt-Anh với kỹ thuật chia nhỏ từ

Bài viết trình bày việc đề xuất việc áp dụng kỹ thuật chia nhỏ từ đối với các câu tiếng Anh trước khi đưa vào gióng hàng trong hệ thống dịch máy Việt-Anh; Đề xuất thuật toán tạo bảng gióng hàng từ A* từ bảng A trước khi xây dựng mô hình dịch, giúp giữ nguyên chất lượng mô hình ngôn ngữ trong hệ thống dịch máy. | Nghiên cứu khoa học công nghệ CẢI TIẾN MÔ HÌNH GIÓNG HÀNG TRONG DỊCH MÁY THỐNG KÊ CẶP NGÔN NGỮ VIỆT-ANH VỚI KỸ THUẬT CHIA NHỎ TỪ Đặng Thanh Quyền1 Nguyễn Chí Thành1 Nguyễn Phương Thái2 Tóm tắt Trong hệ thống dịch máy thống kê Statistical Machine Translation - SMT gióng hàng từ là một nhiệm vụ quan trọng và có ảnh hưởng lớn đến chất lượng hệ dịch. Hiện nay chưa có nghiên cứu nào sử dụng các kỹ thuật chia nhỏ từ cho hệ thống dịch máy thống kê cặp ngôn ngữ Việt-Anh. Trong bài báo này chúng tôi đề xuất một hướng tiếp cận sử dụng các kỹ thuật chia nhỏ từ vào hệ thống dịch máy thống kê nhằm nâng cao chất lượng gióng hàng từ từ đó nâng cao chất lượng hệ dịch cho cặp ngôn ngữ Việt-Anh. Ngoài việc áp dụng kỹ thuật chia nhỏ từ như một bước tiền xử lý chúng tôi còn đề xuất cải tiến mô hình gióng hàng từ để nâng cao chất lượng hệ dịch. Phương pháp đề xuất đã được cài đặt thử nghiệm với các kỹ thuật chia nhỏ từ khác nhau như BPE Wordpiece unigram và Morfessor kết quả thử nghiệm cho thấy việc áp dụng phương pháp đề xuất đều giúp tăng điểm BLEU so với kết quả baseline với kết quả cao nhất sử dụng kỹ thuật BPE giúp tăng điểm BLEU. Từ khóa Subword Gióng hàng từ Dịch máy thống kê. 1. ĐẶT VẤN ĐỀ Trong hệ thống dịch máy thống kê SMT việc gióng hàng từ trên một kho ngữ liệu song ngữ đã gióng hàng mức câu là một bước quan trọng và có ảnh hưởng lớn đến chất lượng hệ dịch 1 . Hiện nay các mô hình gióng hàng từ phổ biến nhất là các mô hình gióng hàng IBM 2 . Các mô hình này được áp dụng rộng rãi trong các hệ thống dịch máy thống kê. Các tham số của các mô hình IBM được ước tính bằng cách sử dụng nguyên lý hợp lý cực đại Maximum Likelihood tức là bằng cách đếm sự đồng xuất hiện của các từ trong văn bản song song. Các mô hình gióng hàng IBM đòi hỏi một lượng lớn dữ liệu song ngữ được gióng hàng mức câu và thường gặp vấn đề khi gióng hàng với các từ có tần suất xuất hiện ít từ hiếm - rare words . Đã có nhiều nghiên cứu nhằm tăng chất lượng gióng hàng từ cho dịch máy thống kê cho các cặp

• Kỹ năng đọc tiếng Anh
• Dịch máy thống kê
• Gióng hàng trong hệ thống dịch máy
• Gióng hàng từ
• Hệ thống dịch máy Việt Anh
• Kỹ thuật BPE
• Mô hình dịch thống kê
• Trí thức về ngôn ngữ
• Mô hình dịch thống kê dựa vào cụm
• Hệ dịch máy thống kê
• Thông tin cú pháp
• Thông tin ngữ nghĩa
• Dịch tự động Việt K’Ho
• Phương pháp dựa vào thống kê
• Ứng dụng dịch tự động
• Quá trình xử lý tài liệu của dịch tự động
• Mô hình gióng hàng
• Sơ đồ dịch máy thống kê
• Tăng cường dữ liệu
• Hệ thống học máy
• Dịch máy Việt Anh
• Kỹ thuật dịch ngược
• Luận án Tiến sĩ Khoa học máy tính
• Luận án Tiến sĩ
• Khoa học máy tính
• Cải tiến chất lượng dịch máy
• Chất lượng dịch máy
• Máy thống kê
• Cú pháp phụ thuộc
• Luận văn thạc sĩ
• Tóm tắt luận văn thạc sĩ
• Luận văn khoa học máy tính
• Nghiên cứu về dịch thống kê
• Luận văn nghiên cứu dịch thống kê
• Luận văn Thạc sĩ Khoa học Máy tính
• Phương pháp dịch thống kê
• Dịch tiếng Việt sang tiếng Anh
• Hệ dịch máy tự động
• Mô hình dịch máy
• Chương 2 Tổng quan
• Dịch máy thống kê dựa trê cú pháp
• Chuyển đổi trật tự
• KỸ THUẬT DỊCH MÁY THỐNG KÊ
• luận văn
• kỹ thuật điện
• luận văn thạc sỹ
• thiết kế hệ thống
• Văn phạm liên kết
• Dịch máy Việt – Anh
• Dịch máy đa ngôn ngữ
• Dịch máy dựa trên ví dụ
• Mô hình ngôn ngữ Bloom Filter
• Cải tiến dịch máy thống kê
• Xử lý ngôn ngữ tự nhiên
• Cái tiến dịch máy thống kê
• Tối ưu bảng cụm từ
• Xử lí ngôn ngữ tự nhiên
• Cải tiến chất lượng dịch máy thống kê
• Cây phân tích cú pháp phụ thuộc
• Thông tin ngữ cảnh
• Tổng công ty Dung dịch khoan
• bộ máy kế toán
• thống kê kinh tế
• báo cáo thống kê kinh tế
• thực trạng kinh tế
• tài chính kinh tế
• báo cáo
• Bài viết về Công nghệ thông tin
• Ngôn ngữ tự nhiên trong dịch máy
• Dịch máy trên cơ sở cụm từ
• Phương pháp dịch tự động
• thương mại và dịch vụ Hoàng Dương
• hệ thống kế toán
• tổ chức kế toán
• bài toán bỏ dấu
• văn bản Tiếng Việt
• lập trình hệ thống
• xây dựng phần mềm
• kỹ thuật lập trình
• tích hợp tri thức ngôn ngữ
• thự nghiệm và đánh giá
• hình thái từ tiếng anh
• thông tin biến cách của từ
• công ty TNHH Dịch vụ Thương mại Đại Lâm
• tổ chức bộ máy quản lý
• Ngữ liệu song ngữ
• Gióng hàng phân đoạn ngữ
• Bilingual corpus
• Statistical machine translation
• Chunk alignment
• Thích ứng miền
• Dịch máy nơ ron
• Dữ liệu huấn luyện hệ dịch
• Hệ dịch cặp ngôn ngữ Anh Việt
• Kỷ yếu hội nghị Quốc gia về Điện tử truyền thông
• Phương pháp dịch từ mới
• Dịch máy Hoa Việt
• Dịch thống kê Hoa Việt
• Ngữ liệu song ngữ Hoa Việt
• Khai phá tri thức
• Dịch máy Anh Việt
• tTri thức song ngữ
• Ngữ liệu song ngữ
• Văn bản song ngữ
• Dịch máy Việt–Anh
• Dữ liệu song ngữ
• Gióng hàng song ngữ
• Kho văn bản du lịch
• Khôi phục dấu tự động
• Dịch máy dựa trên cú pháp
• Suy diễn văn phạm
• Văn phạm phi ngữ cảnh đồng bộ
• Thuật toán phân tích cú pháp CKY