TAILIEUCHUNG - Báo cáo khoa học: "Syntax-to-Morphology Mapping in Factored Phrase-Based Statistical Machine Translation from English to Turkish"

We present a novel scheme to apply factored phrase-based SMT to a language pair with very disparate morphological structures. Our approach relies on syntactic analysis on the source side (English) and then encodes a wide variety of local and non-local syntactic structures as complex structural tags which appear as additional factors in the training data. On the target side (Turkish), we only perform morphological analysis and disambiguation but treat the complete complex morphological tag as a factor, instead of separating morphemes. . | Syntax-to-Morphology Mapping in Factored Phrase-Based Statistical Machine Translation from English to Turkish Reyyan Yeniterzi Language Technologies Institute Carnegie Mellon University Pittsburgh PA 15213 USA reyyan@ Kemal Oflazer Computer Science Carnegie Mellon University-Qatar PO Box 24866 Doha Qatar ko@ Abstract We present a novel scheme to apply factored phrase-based SMT to a language pair with very disparate morphological structures. Our approach relies on syntactic analysis on the source side English and then encodes a wide variety of local and non-local syntactic structures as complex structural tags which appear as additional factors in the training data. On the target side Turkish we only perform morphological analysis and disambiguation but treat the complete complex morphological tag as a factor instead of separating morphemes. We incrementally explore capturing various syntactic substructures as complex tags on the English side and evaluate how our translations improve in BLEU scores. Our maximal set of source and target side transformations coupled with some additional techniques provide an 39 relative improvement from a baseline to BLEU all averaged over 10 training and test sets. Now that the syntactic analysis on the English side is available we also experiment with more long distance constituent reordering to bring the English constituent order close to Turkish but find that these transformations do not provide any additional consistent tangible gains when averaged over the 10 sets. 1 Introduction Statistical machine translation into a morphologically complex language such as Turkish Finnish or Arabic involves the generation of target words with the proper morphology in addition to properly ordering the target words. Earlier work on translation from English to Turkish Oflazer and Durgar-El-Kahlout 2007 Oflazer 2008 Durgar-El-Kahlout and Oflazer 2010 has used an approach which relied on identifying the contextually

• Báo cáo khoa học
• Syntax to Morphology Mapping in Factored
• Phrase Based Statistical Machine Translation from English to Turkish
• Reyyan Yeniterzi
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball