TAILIEUCHUNG - Báo cáo khoa học: "Refined Lexicon Models for Statistical Machine Translation using a Maximum Entropy Approach"

Typically, the lexicon models used in statistical machine translation systems do not include any kind of linguistic or contextual information, which often leads to problems in performing a correct word sense disambiguation. One way to deal with this problem within the statistical framework is to use maximum entropy methods. In this paper, we present how to use this type of information within a statistical machine translation system. We show that it is possible to significantly decrease training and test corpus perplexity of the translation models. . | Refined Lexicon Models for Statistical Machine Translation using a Maximum Entropy Approach Ismael García Varea Dpto. de Informatica Univ. de Castilla-La Mancha Campus Universitario s n 02071 Albacete Spain ivarea@ Franz J. Och and Hermann Ney Lehrstuhl fur Inf. VI RWTH Aachen Ahornstr. 55 D-52056 Aachen Germany och ney @ Francisco Casacuberta Dpto. de Sist. Inf. y Comp. Inst. Tecn. de Inf. UPV Avda. de Los Naranjos s n 46071 Valencia Spain fcn@ Abstract Typically the lexicon models used in statistical machine translation systems do not include any kind of linguistic or contextual information which often leads to problems in performing a correct word sense disambiguation. One way to deal with this problem within the statistical framework is to use maximum entropy methods. In this paper we present how to use this type of information within a statistical machine translation system. We show that it is possible to significantly decrease training and test corpus perplexity of the translation models. In addition we perform a rescoring of V-Best lists using our maximum entropy model and thereby yield an improvement in translation quality. Experimental results are presented on the so-called Verbmobil Task . 1 Introduction Typically the lexicon models used in statistical machine translation systems are only single-word based that is one word in the source language corresponds to only one word in the target language. Those lexicon models lack from context information that can be extracted from the same parallel corpus. This additional information could be Simple context information information of the words surrounding the word pair Syntactic information part-of-speech information syntactic constituent sentence mood Semantic information disambiguation information . from WordNet cur-rent previous speech or dialog act. To include this additional information within the statistical framework we use the maximum entropy approach. This .

• Báo cáo khoa học
• Refined Lexicon Models
• Statistical Machine Translation
• Maximum Entropy Approach
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học