TAILIEUCHUNG - Báo cáo khoa học: "Better Hypothesis Testing for Statistical Machine Translation: Controlling for Optimizer Instability"

In statistical machine translation, a researcher seeks to determine whether some innovation (., a new feature, model, or inference algorithm) improves translation quality in comparison to a baseline system. To answer this question, he runs an experiment to evaluate the behavior of the two systems on held-out data. In this paper, we consider how to make such experiments more statistically reliable. We provide a systematic analysis of the effects of optimizer instability—an extraneous variable that is seldom controlled for—on experimental outcomes, and make recommendations for reporting results more accurately. . | Better Hypothesis Testing for Statistical Machine Translation Controlling for Optimizer Instability Jonathan H. Clark Chris Dyer Alon Lavie Noah A. Smith Language Technologies Institute Carnegie Mellon University PittsbUrgh PA 15213 UsA jhclark cdyer alavie nasmith @ Abstract In statistical machine translation a researcher seeks to determine whether some innovation . a new feature model or inference algorithm improves translation quality in comparison to a baseline system. To answer this question he runs an experiment to evaluate the behavior of the two systems on held-out data. In this paper we consider how to make such experiments more statistically reliable. We provide a systematic analysis of the effects of optimizer instability an extraneous variable that is seldom controlled for on experimental outcomes and make recommendations for reporting results more accurately. 1 Introduction The need for statistical hypothesis testing for machine translation MT has been acknowledged since at least Och 2003 . In that work the proposed method was based on bootstrap resampling and was designed to improve the statistical reliability of results by controlling for randomness across test sets. However there is no consistently used strategy that controls for the effects of unstable estimates of model While the existence of optimizer instability is an acknowledged problem it is only infrequently discussed in relation to the reliability of experimental results and to our knowledge there has yet to be a systematic study of its effects on 1We hypothesize that the convention of trusting BLEU score improvements of . 1 is not merely due to an appreciation of what qualitative difference a particular quantitative improvement will have but also an implicit awareness that current methodology leads to results that are not consistently reproducible. 176 hypothesis testing. In this paper we present a series of experiments demonstrating that optimizer instability

• Báo cáo khoa học
• Better Hypothesis Testing
• Statistical Machine Translation
• Controlling
• Optimizer Instability
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball