TAILIEUCHUNG - Báo cáo khoa học: "Extracting Parallel Sub-Sentential Fragments from Non-Parallel Corpora"

We present a novel method for extracting parallel sub-sentential fragments from comparable, non-parallel bilingual corpora. By analyzing potentially similar sentence pairs using a signal processinginspired approach, we detect which segments of the source sentence are translated into segments in the target sentence, and which are not. This method enables us to extract useful machine translation training data even from very non-parallel corpora, which contain no parallel sentence pairs. | Extracting Parallel Sub-Sentential Fragments from Non-Parallel Corpora Dragos Stefan Munteanu University of Southern California Information Sciences Institute 4676 Admiralty Way Suite 1001 Marina del Rey Ca 90292 dragos@ Daniel Marcu University of Southern California Information Sciences Institute 4676 Admiralty Way Suite 1001 Marina del Rey CA 90292 marcu@ Abstract We present a novel method for extracting parallel sub-sentential fragments from comparable non-parallel bilingual corpora. By analyzing potentially similar sentence pairs using a signal processing-inspired approach we detect which segments of the source sentence are translated into segments in the target sentence and which are not. This method enables us to extract useful machine translation training data even from very non-parallel corpora which contain no parallel sentence pairs. We evaluate the quality of the extracted data by showing that it improves the performance of a state-of-the-art statistical machine translation system. 1 Introduction Recently there has been a surge of interest in the automatic creation of parallel corpora. Several researchers Zhao and Vogel 2002 Vogel 2003 Resnik and Smith 2003 Fung and Cheung 2004a Wu and Fung 2005 Munteanu and Marcu 2005 have shown how fairly good-quality parallel sentence pairs can be automatically extracted from comparable corpora and used to improve the performance of machine translation MT systems. This work addresses a major bottleneck in the development of Statistical MT SMT systems the lack of sufficiently large parallel corpora for most language pairs. Since comparable corpora exist in large quantities and for many languages - tens of thousands of words of news describing the same events are produced daily - the ability to exploit them for parallel data acquisition is highly beneficial for the SMT field. Comparable corpora exhibit various degrees of parallelism. Fung and Cheung 2004a describe corpora ranging from noisy parallel to .

• Báo cáo khoa học
• Extracting Parallel
• Sub Sentential Fragments
• Non Parallel Corpora
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Extracting Paraphrases
• Technical Terms
• Noisy Parallel Software Corpora
• báo cáo ngôn ngữ
• a Parallel Corpus
• Regina Barzilay and Kathleen R
• McKeown
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học