TAILIEUCHUNG - Báo cáo khoa học: "Toward Smaller, Faster, and Better Hierarchical Phrase-based SMT"

We investigate the use of Fisher’s exact significance test for pruning the translation table of a hierarchical phrase-based statistical machine translation system. In addition to the significance values computed by Fisher’s exact test, we introduce compositional properties to classify phrase pairs of same significance values. We also examine the impact of using significance values as a feature in translation models. | Toward Smaller Faster and Better Hierarchical Phrase-based SMT Mei Yang Dept. of Electrical Engineering University of Washington Seattle WA USA yangmei@ Jing Zheng SRI International Menlo Park CA USA zj@ Abstract We investigate the use of Fisher s exact significance test for pruning the translation table of a hierarchical phrase-based statistical machine translation system. In addition to the significance values computed by Fisher s exact test we introduce compositional properties to classify phrase pairs of same significance values. We also examine the impact of using significance values as a feature in translation models. Experimental results show that 1 to 2 BLEU improvements can be achieved along with substantial model size reduction in an Iraqi English two-way translation task. 1 Introduction Phrase-based translation Koehn et al. 2003 and hierarchical phrase-based translation Chiang 2005 are the state of the art in statistical machine translation SMT techniques. Both approaches typically employ very large translation tables extracted from word-aligned parallel data with many entries in the tables never being used in decoding. The redundancy of translation tables is not desirable in real-time applications . speech-to-speech translation where speed and memory consumption are often critical concerns. In addition some translation pairs in a table are generated from training data errors and word alignment noise. Removing those pairs could lead to improved translation quality. Johnson et al. 2007 has presented a technique for pruning the phrase table in a phrasebased SMT system using Fisher s exact test. They compute the significance value of each phrase pair and prune the table by deleting phrase pairs with significance values smaller than a threshold. Their experimental results show that the size of the phrase table can be greatly reduced with no significant loss in translation quality. In this paper we extend the work in Johnson .

• Báo cáo khoa học
• Toward Smaller
• Faster
• and Better Hierarchical Phrase based SMT
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học