TAILIEUCHUNG - Báo cáo khoa học: "Discriminative Word Alignment with Conditional Random Fields"

In this paper we present a novel approach for inducing word alignments from sentence aligned data. We use a Conditional Random Field (CRF), a discriminative model, which is estimated on a small supervised training set. The CRF is conditioned on both the source and target texts, and thus allows for the use of arbitrary and overlapping features over these data. Moreover, the CRF has efficient training and decoding processes which both find globally optimal solutions. | Discriminative Word Alignment with Conditional Random Fields Phil Blunsom and Trevor Cohn Department of Software Engineering and Computer Science University of Melbourne pcbl tacohn @ Abstract In this paper we present a novel approach for inducing word alignments from sentence aligned data. We use a Conditional Random Field CRF a discriminative model which is estimated on a small supervised training set. The CRF is conditioned on both the source and target texts and thus allows for the use of arbitrary and overlapping features over these data. Moreover the CRF has efficient training and decoding processes which both find globally optimal solutions. We apply this alignment model to both French-English and Romanian-English language pairs. We show how a large number of highly predictive features can be easily incorporated into the CRF and demonstrate that even with only a few hundred word-aligned training sentences our model improves over the current state-of-the-art with alignment error rates of and for the two tasks respectively. 1 Introduction Modern phrase based statistical machine translation SMT systems usually break the translation task into two phases. The first phase induces word alignments over a sentence-aligned bilingual corpus and the second phase uses statistics over these predicted word alignments to decode translate novel sentences. This paper deals with the first of these tasks word alignment. Most current SMT systems Och and Ney 2004 Koehn et al. 2003 use a generative model for word alignment such as the freely available GIZA Och and Ney 2003 an implementation of the IBM alignment models Brown et al. 1993 . These models treat word alignment as a hidden process and maximise the probability of the observed e f sentence pairs1 using the expectation maximisation EM algorithm. After the maximisation process is complete the word alignments are set to maximum posterior predictions of the model. While GIZA gives good results when

• Báo cáo khoa học
• Discriminative Word Alignment
• Conditional Random Fields
• Phil Blunsom and Trevor Cohn
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Improved Discriminative
• Bilingual Word Alignment
• Robert C
• Moore Wen tau Yih
• Soft Syntactic Constraints
• Word Alignment
• Discriminative Training
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học