TAILIEUCHUNG - Báo cáo khoa học: "Learning to Find Translations and Transliterations on the Web"

In this paper, we present a new method for learning to finding translations and transliterations on the Web for a given term. The approach involves using a small set of terms and translations to obtain mixed-code snippets from a search engine, and automatically annotating the snippets with tags and features for training a conditional random field model. | Learning to Find Translations and Transliterations on the Web Joseph Z. Chang Department of Computer Science National Tsing Hua University 101 Kuangfu Road Hsinchu 300 Taiwan j Jason S. Chang Department of Computer Science National Tsing Hua University 101 Kuangfu Road Hsinchu 300 Taiwan j schang@ Jyh-Shing Roger Jang Department of Computer Science National Tsing Hua University 101 Kuangfu Road Hsinchu 300 Taiwan jang@ Abstract In this paper we present a new method for learning to finding translations and transliterations on the Web for a given term. The approach involves using a small set of terms and translations to obtain mixed-code snippets from a search engine and automatically annotating the snippets with tags and features for training a conditional random field model. At runtime the model is used to extracting translation candidates for a given term. Preliminary experiments and evaluation show our method cleanly combining various features resulting in a system that outperforms previous work. 1 Introduction The phrase translation problem is critical to machine translation cross-lingual information retrieval and multilingual terminology Bian and Chen 2000 Kupiec 1993 . Such systems typically use a parallel corpus. However the out of vocabulary problem OOV is hard to overcome even with a very large training corpus due to the Zipf nature of word distribution and ever growing new terminology and named entities. Luckily there are an abundant of webpages consisting mixed-code text typically written in one language but interspersed with some sentential or phrasal translations in another language. By retrieving and identifying such translation counterparts on the Web we can cope with the OOV problem. Consider the technical term named-entity recognition. The best places to find the Chinese translations for named-entity recognition are probably not some parallel corpus or dictionary but rather mixed-code webpages. The

• Báo cáo khoa học
• Learning to Find Translations
• Transliterations on the Web
• Joseph Z
• Chang
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball