TAILIEUCHUNG - Báo cáo khoa học: "An End-to-End Discriminative Approach to Machine Translation"

We present a perceptron-style discriminative approach to machine translation in which large feature sets can be exploited. Unlike discriminative reranking approaches, our system can take advantage of learned features in all stages of decoding. We first discuss several challenges to error-driven discriminative approaches. In particular, we explore different ways of updating parameters given a training example. We find that making frequent but smaller updates is preferable to making fewer but larger updates. . | An End-to-End Discriminative Approach to Machine Translation Percy Liang Alexandre Bouchard-Cote Dan Klein Ben Taskar Computer Science Division EECS Department University of California at Berkeley Berkeley CA 94720 pliang bouchard klein taskar @ Abstract We present a perceptron-style discriminative approach to machine translation in which large feature sets can be exploited. Unlike discriminative reranking approaches our system can take advantage of learned features in all stages of decoding. We first discuss several challenges to error-driven discriminative approaches. In particular we explore different ways of updating parameters given a training example. We find that making frequent but smaller updates is preferable to making fewer but larger updates. Then we discuss an array of features and show both how they quantitatively increase BLEU score and how they qualitatively interact on specific examples. One particular feature we investigate is a novel way to introduce learning into the initial phrase extraction process which has previously been entirely heuristic. 1 Introduction The generative noisy-channel paradigm has historically served as the foundation for most of the work in statistical machine translation Brown et al. 1994 . At the same time discriminative methods have provided substantial improvements over generative models on a wide range of NLP tasks. They allow one to easily encode domain knowledge in the form of features. Moreover parameters are tuned to directly minimize error rather than to maximize joint likelihood which may not correspond well to the task objective. In this paper we present an end-to-end discriminative approach to machine translation. The proposed system is phrase-based as in Koehn et al. 2003 but uses an online perceptron training scheme to learn model parameters. Unlike minimum error rate training Och 2003 our system is able to exploit large numbers of specific features in the same manner as static reranking .

• Báo cáo khoa học
• An End to End Discriminative
• Machine Translation
• Percy Liang Alexandre
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học