TAILIEUCHUNG - Báo cáo khoa học: "Improving the IBM Alignment Models Using Variational Bayes"

Bayesian approaches have been shown to reduce the amount of overfitting that occurs when running the EM algorithm, by placing prior probabilities on the model parameters. We apply one such Bayesian technique, variational Bayes, to the IBM models of word alignment for statistical machine translation. | Improving the IBM Alignment Models Using Variational Bayes Darcey Riley and Daniel Gildea Computer Science Dept. University of Rochester Rochester NY 14627 Abstract Bayesian approaches have been shown to reduce the amount of overfitting that occurs when running the EM algorithm by placing prior probabilities on the model parameters. We apply one such Bayesian technique variational Bayes to the IBM models of word alignment for statistical machine translation. We show that using variational Bayes improves the performance of the widely used GIZA software as well as improving the overall performance of the Moses machine translation system in terms of BLEU score. 1 Introduction The IBM Models of word alignment Brown et al. 1993 along with the Hidden Markov Model HMM Vogel et al. 1996 serve as the starting point for most current state-of-the-art machine translation systems both phrase-based and syntax-based Koehn et al. 2007 Chiang 2005 Galley et al. 2004 . Both the IBM Models and the HMM are trained using the EM algorithm Dempster et al. 1977 . Recently Bayesian techniques have become widespread in applications of EM to natural language processing tasks as a very general method of controlling overfitting. For instance Johnson 2007 showed the benefits of such techniques when applied to HMMs for unsupervised part of speech tagging. In machine translation Blunsom et al. 2008 and DeNero et al. 2008 use Bayesian techniques to learn bilingual phrase pairs. In this setting which involves finding a segmentation of the input sentences into phrasal units it is particularly important to control the tendency of EM to choose longer phrases 306 which explain the training data well but are unlikely to generalize. However most state-of-the-art machine translation systems today are built on the basis of wordlevel alignments of the type generated by GIZA from the IBM Models and the HMM. Overfitting is also a problem in this context and improving these word alignment systems could be of .

• Báo cáo khoa học
• Improving the IBM
• Alignment Models
• Variational Bayes
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Improving IBM Word Alignment Model
• Robert C
• MOORE
• Long Papers
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball