TAILIEUCHUNG - Báo cáo khoa học: "Prediction of Learning Curves in Machine Translation"

Parallel data in the domain of interest is the key resource when training a statistical machine translation (SMT) system for a specific purpose. Since ad-hoc manual translation can represent a significant investment in time and money, a prior assesment of the amount of training data required to achieve a satisfactory accuracy level can be very useful. In this work, we show how to predict what the learning curve would look like if we were to manually translate increasing amounts of data. | Prediction of Learning Curves in Machine Translation Prasanth Kolachina Nicola Cancedda Marc Dymetman Sriram Venkatapathy LTRC IIIT-Hyderabad Hyderabad India f Xerox Research Centre Europe 6 chemin de Maupertuis 38240 Meylan France Abstract Parallel data in the domain of interest is the key resource when training a statistical machine translation SMT system for a specific purpose. Since ad-hoc manual translation can represent a significant investment in time and money a prior assesment of the amount of training data required to achieve a satisfactory accuracy level can be very useful. In this work we show how to predict what the learning curve would look like if we were to manually translate increasing amounts of data. We consider two scenarios 1 Monolingual samples in the source and target languages are available and 2 An additional small amount of parallel corpus is also available. We propose methods for predicting learning curves in both these scenarios. 1 Introduction Parallel data in the domain of interest is the key resource when training a statistical machine translation SMT system for a specific business purpose. In many cases it is possible to allocate some budget for manually translating a limited sample of relevant documents be it via professional translation services or through increasingly fashionable crowdsourcing. However it is often difficult to predict how much training data will be required to achieve satisfactory translation accuracy preventing sound provisional budgetting. This prediction or more generally the prediction of the learning curve of an SMT system as a function of available in-domain parallel data is the objective of this paper. We consider two scenarios representative of realistic situations. 1. In the first scenario S1 the SMT developer is given only monolingual source and target samples from the relevant domain and a small test parallel corpus. This research was carried out during an internship at Xerox Research Centre Europe. 22

• Báo cáo khoa học
• Prediction of Learning Curves
• Machine Translation
• Prasanth Kolachina
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball