TAILIEUCHUNG - Báo cáo khoa học: "Combining Word-Level and Character-Level Models for Machine Translation Between Closely-Related Languages"

We propose several techniques for improving statistical machine translation between closely-related languages with scarce resources. We use character-level translation trained on n-gram-character-aligned bitexts and tuned using word-level BLEU, which we further augment with character-based transliteration at the word level and combine with a word-level translation model. | Combining Word-Level and Character-Level Models for Machine Translation Between Closely-Related Languages Preslav Nakov Qatar Computing Research Institute Qatar Foundation . box 5825 Doha Qatar pnakov@ Jorg Tiedemann Department of Linguistics and Philology Uppsala University Uppsala Sweden Abstract We propose several techniques for improving statistical machine translation between closely-related languages with scarce resources. We use character-level translation trained on n-gram-character-aligned bitexts and tuned using word-level BLEU which we further augment with character-based transliteration at the word level and combine with a word-level translation model. The evaluation on Macedonian-Bulgarian movie subtitles shows an improvement of BLEU points over a phrase-based word-level baseline. 1 Introduction Statistical machine translation SMT systems require parallel corpora of sentences and their translations called bitexts which are often not sufficiently large. However for many closely-related languages SMT can be carried out even with small bitexts by exploring relations below the word level. Closely-related languages such as Macedonian and Bulgarian exhibit a large overlap in their vocabulary and strong syntactic and lexical similarities. Spelling conventions in such related languages can still be different and they may diverge more substantially at the level of morphology. However the differences often constitute consistent regularities that can be generalized when translating. The language similarities and the regularities in morphological variation and spelling motivate the use of character-level translation models which were applied to translation Vilar et al. 2007 Tiedemann 2009a and transliteration Matthews 2007 . 301 Macedonian Bulgarian a B M e _ a B M 6 _ ỈỊ a _ _ Be py B a M _ _fleKa_TOj- a X M e _ a X M e - A a _ -BSpBaM-_ He_T0ii_ Table 1 Examples from a character-level phrase table without scores .

• Báo cáo khoa học
• Combining Word Level
• Character Level Models
• Machine Translation
• Closely Related Languages
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball