TAILIEUCHUNG - Báo cáo khoa học: "From Bilingual Dictionaries to Interlingual Document Representations"Raghavendra Udupa Micros

Mapping documents into an interlingual representation can help bridge the language barrier of a cross-lingual corpus. Previous approaches use aligned documents as training data to learn an interlingual representation, making them sensitive to the domain of the training data. In this paper, we learn an interlingual representation in an unsupervised manner using only a bilingual dictionary. | From Bilingual Dictionaries to Interlingual Document Representations Jagadeesh Jagarlamudi University of Maryland College Park USA jags@ Hal Daume III University of Maryland College Park USA hal@ Raghavendra Udupa Microsoft Research India Bangalore India raghavu@ Abstract Mapping documents into an interlingual representation can help bridge the language barrier of a cross-lingual corpus. Previous approaches use aligned documents as training data to learn an interlingual representation making them sensitive to the domain of the training data. In this paper we learn an interlingual representation in an unsupervised manner using only a bilingual dictionary. We first use the bilingual dictionary to find candidate document alignments and then use them to find an interlingual representation. Since the candidate alignments are noisy we develop a robust learning algorithm to learn the interlingual representation. We show that bilingual dictionaries generalize to different domains better our approach gives better performance than either a word by word translation method or Canonical Correlation Analysis CCA trained on a different domain. 1 Introduction The growth of text corpora in different languages poses an inherent problem of aligning documents across languages. Obtaining an explicit alignment or a different way of bridging the language barrier is an important step in many natural language processing NLP applications such as document retrieval Gale and Church 1991 Rapp 1999 Ballesteros and Croft 1996 Munteanu and Marcu 2005 Vu et al. 2009 Transliteration Mining Klementiev and Roth 2006 Hermjakob et al. 2008 Udupa et al. 2009 Ravi and Knight 2009 and Multilingual Web Search Gao et al. 2008 Gao et al. 2009 . 147 Aligning documents from different languages arises in all the above mentioned problems. In this paper we address this problem by mapping documents into a common subspace interlingual representa-tion 1 . This common subspace

• Báo cáo khoa học
• From Bilingual Dictionaries
• Interlingual Document Representations
• Jagadeesh Jagarlamudi
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball