TAILIEUCHUNG - Báo cáo khoa học: "Compiling a Massive, Multilingual Dictionary via Probabilistic Inference"

Can we automatically compose a large set of Wiktionaries and translation dictionaries to yield a massive, multilingual dictionary whose coverage is substantially greater than that of any of its constituent dictionaries? The composition of multiple translation dictionaries leads to a transitive inference problem: if word A translates to word B which in turn translates to word C, what is the probability that C is a translation of A? The paper introduces a novel algorithm that solves this problem for 10,000,000 words in more than 1,000 languages. . | Compiling a Massive Multilingual Dictionary via Probabilistic Inference Mausam Stephen Soderland Oren Etzioni Daniel S. Weld Michael Skinner Jeff Bilmes University of Washington Seattle Google Seattle mausam soderlan etzioni weld bilmes @ mskinner@ Abstract Can we automatically compose a large set of Wiktionaries and translation dictionaries to yield a massive multilingual dictionary whose coverage is substantially greater than that of any of its constituent dictionaries The composition of multiple translation dictionaries leads to a transitive inference problem if word A translates to word B which in turn translates to word C what is the probability that C is a translation of A The paper introduces a novel algorithm that solves this problem for 10 000 000 words in more than 1 000 languages. The algorithm yields PanDicTIONARY a novel multilingual dictionary. PanDictionary contains more than four times as many translations than in the largest Wiktionary at precision and over 200 000 000 pairwise translations in over 200 000 language pairs at precision . 1 Introduction and Motivation in the era of globalization inter-lingual communication is becoming increasingly important. Although nearly 7 000 languages are in use today Gordon 2005 most language resources are mono-lingual or This paper investigates whether Wiktionaries and other translation dictionaries available over the Web can be automatically composed to yield a massive multilingual dictionary with superior coverage at comparable precision. We describe the automatic construction of a massive multilingual translation dictionary called 1 The English Wiktionary a lexical resource developed by volunteers over the Internet is one notable exception that contains translations of English words in about 500 languages. Figure 1 A fragment of the translation graph for two senses of the English word spring . Edges labeled 1 and 3 are for spring in the sense of a season and 2

• Báo cáo khoa học
• Compiling a Massive
• Multilingual Dictionary
• Probabilistic Inference
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học