TAILIEUCHUNG - Báo cáo khoa học: "An Empirical Investigation of Discounting in Cross-Domain Language Models"

We investigate the empirical behavior of ngram discounts within and across domains. When a language model is trained and evaluated on two corpora from exactly the same domain, discounts are roughly constant, matching the assumptions of modified Kneser-Ney LMs. However, when training and test corpora diverge, the empirical discount grows essentially as a linear function of the n-gram count. We adapt a Kneser-Ney language model to incorporate such growing discounts, resulting in perplexity improvements over modified Kneser-Ney and Jelinek-Mercer baselines. . | An Empirical Investigation of Discounting in Cross-Domain Language Models Greg Durrett and Dan Klein Computer Science Division University of California Berkeley gdurrett klein @ Abstract We investigate the empirical behavior of ngram discounts within and across domains. When a language model is trained and evaluated on two corpora from exactly the same domain discounts are roughly constant matching the assumptions of modified Kneser-Ney LMs. However when training and test corpora diverge the empirical discount grows essentially as a linear function of the n-gram count. We adapt a Kneser-Ney language model to incorporate such growing discounts resulting in perplexity improvements over modified Kneser-Ney and Jelinek-Mercer baselines. 1 Introduction Discounting or subtracting from the count of each n-gram is one of the core aspects of Kneser-Ney language modeling Kneser and Ney 1995 . For all but the smallest n-gram counts Kneser-Ney uses a single discount one that does not grow with the ngram count because such constant-discounting was seen in early experiments on held-out data Church and Gale 1991 . However due to increasing computational power and corpus sizes language modeling today presents a different set of challenges than it did 20 years ago. In particular modeling crossdomain effects has become increasingly more important Klakow 2000 Moore and Lewis 2010 and deployed systems must frequently process data that is out-of-domain from the standpoint of the language model. In this work we perform experiments on held-out data to evaluate how discounting behaves in the 24 cross-domain setting. We find that when training and testing on corpora that are as similar as possible empirical discounts indeed do not grow with ngram count which validates the parametric assumption of Kneser-Ney smoothing. However when the train and evaluation corpora differ even slightly discounts generally exhibit linear growth in the count of the n-gram with the amount of .

• Báo cáo khoa học
• An Empirical Investigation of Discounting
• Cross Domain Language Models
• Greg Durrett and Dan Klein
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball