TAILIEUCHUNG - Báo cáo khoa học: "a Precision-Order-Recall MT Evaluation Metric for Tuning"

Many machine translation (MT) evaluation metrics have been shown to correlate better with human judgment than BLEU. In principle, tuning on these metrics should yield better systems than tuning on BLEU. However, due to issues such as speed, requirements for linguistic resources, and optimization difficulty, they have not been widely adopted for tuning. | PORT a Precision-Order-Recall MT Evaluation Metric for Tuning Boxing Chen Roland Kuhn and Samuel Larkin National Research Council Canada 283 Alexandre-Taché Boulevard Gatineau Quebec Canada J8X 3X7 @ Abstract Many machine translation MT evaluation metrics have been shown to correlate better with human judgment than BLEU. In principle tuning on these metrics should yield better systems than tuning on BLEU. However due to issues such as speed requirements for linguistic resources and optimization difficulty they have not been widely adopted for tuning. This paper presents PORT1 a new MT evaluation metric which combines precision recall and an ordering metric and which is primarily designed for tuning MT systems. PORT does not require external resources and is quick to compute. It has a better correlation with human judgment than BLEU. We compare PORT-tuned MT systems to BLEU-tuned baselines in five experimental conditions involving four language pairs. PORT tuning achieves consistently better performance than BLEU tuning according to four automated metrics including BLEU and to human evaluation in comparisons of outputs from 300 source sentences human judges preferred the PORT-tuned output of the time vs. BLEU tuning preferences and ties . 1 Introduction Automatic evaluation metrics for machine translation MT quality are a key part of building statistical MT SMT systems. They play two 1 PORT Precision-Order-Recall Tunable metric. 930 roles to allow rapid though sometimes inaccurate comparisons between different systems or between different versions of the same system and to perform tuning of parameter values during system training. The latter has become important since the invention of minimum error rate training MERT Och 2003 and related tuning methods. These methods perform repeated decoding runs with different system parameter values which are tuned to optimize the value of the evaluation metric over a .

• Báo cáo khoa học
• a Precision Order Recall MT Evaluation Metric for Tuning
• Boxing Chen
• Roland Kuhn
• Samuel Larkin
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball