TAILIEUCHUNG - Báo cáo khoa học: "How Much Can We Gain from Supervised Word Alignment"

Word alignment is a central problem in statistical machine translation (SMT). In recent years, supervised alignment algorithms, which improve alignment accuracy by mimicking human alignment, have attracted a great deal of attention. The objective of this work is to explore the performance limit of supervised alignment under the current SMT paradigm. | How Much Can We Gain from Supervised Word Alignment Jinxi Xu and Jinying Chen Raytheon BBN Technologies 10 Moulton Street Cambridge MA 02138 USA jxu j chen @ Abstract Word alignment is a central problem in statistical machine translation SMT . In recent years supervised alignment algorithms which improve alignment accuracy by mimicking human alignment have attracted a great deal of attention. The objective of this work is to explore the performance limit of supervised alignment under the current SMT paradigm. Our experiments used a manually aligned Chinese-English corpus with 280K words recently released by the Linguistic Data Consortium LDC . We treated the human alignment as the oracle of supervised alignment. The result is surprising the gain of human alignment over a state of the art unsupervised method GIZA is less than 1 point in BLEU. Furthermore we showed the benefit of improved alignment becomes smaller with more training data implying the above limit also holds for large training conditions. 1 Introduction Word alignment is a central problem in statistical machine translation SMT . A recent trend in this area of research is to exploit supervised learning to improve alignment accuracy by mimicking human alignment. Studies in this line of work include Haghighi et al. 2009 DeNero and Klein 2010 Setiawan et al. 2010 just to name a few. The objective of this work is to explore the performance limit of supervised word alignment. 165 More specifically we would like to know what magnitude of gain in MT performance we can expect from supervised alignment over the state of the art unsupervised alignment if we have access to a large amount of parallel data. Since alignment errors have been assumed to be a major hindrance to good MT an answer to such a question might help us find new directions in MT research. Our method is to use human alignment as the oracle of supervised learning and compare its performance against that of GIZA Och and Ney 2003 a state of .

• Báo cáo khoa học
• Supervised Word Alignment
• Jinxi Xu and Jinying Chen
• Long Papers
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Active Learning Based Elicitation
• Semi Supervised Word Alignment
• Vamshi Ambati
• Semi Supervised Training
• Statistical Word Alignment
• Alexander Fraser
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball