TAILIEUCHUNG - Báo cáo khoa học: "Mining Parenthetical Translations from the Web by Word Alignment"

Documents in languages such as Chinese, Japanese and Korean sometimes annotate terms with their translations in English inside a pair of parentheses. We present a method to extract such translations from a large collection of web documents by building a partially parallel corpus and use a word alignment algorithm to identify the terms being translated. The method is able to generalize across the translations for different terms and can reliably extract translations that occurred only once in the entire web. . | Mining Parenthetical Translations from the Web by Word Alignment Dekang Lin Shaojun Zhao Benjamin Van Durme f Marius Pasca Google Inc. Mountain View CA 94043 lindek@ University of Rochester Rochester NY 14627 zhao@ University of Rochester Rochester NY 14627 vandurme@ Google Inc. Mountain View CA 94043 mars@ Abstract Documents in languages such as Chinese Japanese and Korean sometimes annotate terms with their translations in English inside a pair of parentheses. We present a method to extract such translations from a large collection of web documents by building a partially parallel corpus and use a word alignment algorithm to identify the terms being translated. The method is able to generalize across the translations for different terms and can reliably extract translations that occurred only once in the entire web. Our experiment on Chinese web pages produced more than 26 million pairs of translations which is over two orders of magnitude more than previous results. We show that the addition of the extracted translation pairs as training data provides significant increase in the BLEU score for a statistical machine translation system. 1 Introduction In natural language documents a term word or phrase is sometimes followed by its translation in another language in a pair of parentheses. We call these parenthetical translations. The following examples are from Chinese web pages we added underlines to indicate what is being translated 1 MW ffi Brookings Institution w fetB ftiXfet 8itt g -ia Jeremy Shapiro ẾP . 2 i Lte O aaVWLV5. indigestion s gastritis ẺB SỄ tl . 3 Bf sfti not going to fly ift 4 .SỄ . te a linear programming . Contributions made during an internship at Google The parenthetically translated terms are typically new words technical terminologies idioms products titles of movies books songs and names of persons organizations locations etc. Commonly an author might use such a parenthetical when a given

• Báo cáo khoa học
• Mining Parenthetical Translations
• Web by Word Alignment
• Dekang Lin
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học