TAILIEUCHUNG - Báo cáo khoa học: "Customizing Parallel Corpora at the Document Level"

Recent research in cross-lingual information retrieval (CLIR) established the need for properly matching the parallel corpus used for query translation to the target corpus. We propose a document-level approach to solving this problem: building a custom-made parallel corpus by automatically assembling it from documents taken from other parallel corpora. Although the general idea can be applied to any application that uses parallel corpora, we present results for CLIR in the medical domain. | Customizing Parallel Corpora at the Document Level Monica ROGATI and Yiming YANG Computer Science Department Carnegie Mellon University 5000 Forbes Avenue Pittsburgh PA 15213 mrogati@ yiming@ Abstract Recent research in cross-lingual information retrieval CLIR established the need for properly matching the parallel corpus used for query translation to the target corpus. We propose a document-level approach to solving this problem building a custom-made parallel corpus by automatically assembling it from documents taken from other parallel corpora. Although the general idea can be applied to any application that uses parallel corpora we present results for CLIR in the medical domain. In order to extract the best-matched documents from several parallel corpora we propose ranking individual documents by using a length-normalized Okapi-based similarity score between them and the target corpus. This ranking allows us to discard 50-90 of the training data while avoiding the performance drop caused by a good but mismatched resource and even improving CLIR effectiveness by 4-7 when compared to using all available training data. 1 Introduction Our recent research in cross-lingual information retrieval CLIR established the need for properly matching the parallel corpus used for query translation to the target corpus Rogati and Yang 2004 . In particular we showed that using a general purpose machine translation MT system such as SYSTRAN or a general purpose parallel corpus - both of which perform very well for news stories Peters 2003 - dramatically fails in the medical domain. To explore solutions to this problem we used cosine similarity between training and target corpora as respective weights when building a translation model. This approach treats a parallel corpus as a homogeneous entity an entity that is self-consistent in its domain and document quality. In this paper we propose that instead of weighting entire resources we can select individual .

• Báo cáo khoa học
• Customizing Parallel Corpora
• the Document Level
• Monica ROGATI and Yiming YANG
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học