TAILIEUCHUNG - Báo cáo khoa học: "Fast Consensus Decoding over Translation Forests"

The minimum Bayes risk (MBR) decoding objective improves BLEU scores for machine translation output relative to the standard Viterbi objective of maximizing model score. However, MBR targeting BLEU is prohibitively slow to optimize over k-best lists for large k. In this paper, we introduce and analyze an alternative to MBR that is equally effective at improving performance, yet is asymptotically faster — running 80 times faster than MBR in experiments with 1000-best lists. | Fast Consensus Decoding over Translation Forests John DeNero Computer Science Division University of California Berkeley denero@ David Chiang and Kevin Knight Information Sciences Institute University of Southern California chiang knight @ Abstract The minimum Bayes risk MBR decoding objective improves BLEU scores for machine translation output relative to the standard Viterbi objective of maximizing model score. However MBR targeting BLEU is prohibitively slow to optimize over k-best lists for large k. In this paper we introduce and analyze an alternative to MBR that is equally effective at improving performance yet is asymptotically faster running 80 times faster than MBR in experiments with 1000-best lists. Furthermore our fast decoding procedure can select output sentences based on distributions over entire forests of translations in addition to k-best lists. We evaluate our procedure on translation forests from two large-scale state-of-the-art hierarchical machine translation systems. Our forest-based decoding objective consistently outperforms k-best list MBR giving improvements of up to BLEU. 1 Introduction In statistical machine translation output translations are evaluated by their similarity to human reference translations where similarity is most often measured by BLEU Papineni et al. 2002 . A decoding objective specifies how to derive final translations from a system s underlying statistical model. The Bayes optimal decoding objective is to minimize risk based on the similarity measure used for evaluation. The corresponding minimum Bayes risk MBR procedure maximizes the expected similarity score of a system s translations relative to the model s distribution over possible translations Kumar and Byrne 2004 . Unfortunately with a non-linear similarity measure like BLEU we must resort to approximating the expected loss using a k-best list which accounts for only a tiny fraction of a model s full posterior distribution. In this .

• Báo cáo khoa học
• Fast Consensus Decoding
• Translation Forests
• John DeNero David Chiang and Kevin Knight
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học