TAILIEUCHUNG - Báo cáo khoa học: "Four Techniques for Online Handling of Out-of-Vocabulary Words in Arabic-English Statistical Machine Translation"

We present four techniques for online handling of Out-of-Vocabulary words in Phrasebased Statistical Machine Translation. The techniques use spelling expansion, morphological expansion, dictionary term expansion and proper name transliteration to reuse or extend a phrase table. We compare the performance of these techniques and combine them. Our results show a consistent improvement over a state-of-the-art baseline in terms of BLEU and a manual error analysis. | Four Techniques for Online Handling of Out-of-Vocabulary Words in Arabic-English Statistical Machine Translation Nizar Habash Center for Computational Learning Systems Columbia University habash@ Abstract We present four techniques for online handling of Out-of-Vocabulary words in Phrasebased Statistical Machine Translation. The techniques use spelling expansion morphological expansion dictionary term expansion and proper name transliteration to reuse or extend a phrase table. We compare the performance of these techniques and combine them. Our results show a consistent improvement over a state-of-the-art baseline in terms of BLEU and a manual error analysis. 1 Introduction We present four techniques for online handling of Out-of-Vocabulary OOV words in phrase-based Statistical Machine Translation SMT .1 The techniques use morphological expansion MorphEx spelling expansion SpellEx dictionary word expansion DictEx and proper name transliteration TransEx to reuse or extend phrase tables online. We compare the performance of these techniques and combine them. We work with a standard Arabic-English SMT system that has been already optimized for minimizing data sparsity through the use of morphological preprocessing and orthographic normalization. Thus our baseline token OOV rate is rather low average . None of our techniques are specific to Arabic and all can be retargeted to other languages given availability of techniquespecific resources. Our results show that we improve over a state-of-the-art baseline by over relative bleu score and handle all OOV instances. An error analysis shows that in 60 of the time our OOV handling successfully produces acceptable output. Additionally we still improve in bleu score even as we increase our system s training data by 10-fold. 1This work was funded under the DARPA gale program contract HR0011-06-C-0023. 2 Related Work Much work in MT has shown that orthographic and morpho-syntactic preprocessing of the

• Báo cáo khoa học
• Four Techniques for Online Handling
• Out of Vocabulary Words
• Arabic English Statistical Machine Translation
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học