TAILIEUCHUNG - Báo cáo khoa học: "Faster and Smaller N -Gram Language Models"

N -gram language models are a major resource bottleneck in machine translation. In this paper, we present several language model implementations that are both highly compact and fast to query. Our fastest implementation is as fast as the widely used SRILM while requiring only 25% of the storage. Our most compact representation can store all 4 billion n-grams and associated counts for the Google n-gram corpus in 23 bits per n-gram, the most compact lossless representation to date, and even more compact than recent lossy compression techniques. . | Faster and Smaller N-Gram Language Models Adam Pauls Dan Klein Computer Science Division University of California Berkeley adpauls klein @ Abstract N-gram language models are a major resource bottleneck in machine translation. In this paper we present several language model implementations that are both highly compact and fast to query. Our fastest implementation is as fast as the widely used SRILM while requiring only 25 of the storage. Our most compact representation can store all 4 billion n-grams and associated counts for the Google n-gram corpus in 23 bits per n-gram the most compact lossless representation to date and even more compact than recent lossy compression techniques. We also discuss techniques for improving query speed during decoding including a simple but novel language model caching technique that improves the query speed of our language models and SRILM by up to 300 . 1 Introduction For modern statistical machine translation systems language models must be both fast and compact. The largest language models LMs can contain as many as several hundred billion n-grams Brants et al. 2007 so storage is a challenge. At the same time decoding a single sentence can trigger hundreds of thousands of queries to the language model so speed is also critical. As always trade-offs exist between time space and accuracy with many recent papers considering small-but-approximate noisy LMs Chazelle et al. 2004 Guthrie and Hepple 2010 or small-but-slow compressed LMs Germann et al. 2009 . In this paper we present several lossless methods for compactly but efficiently storing large LMs in memory. As in much previous work Whittaker 258 and Raj 2001 Hsu and Glass 2008 our methods are conceptually based on tabular trie encodings wherein each n-gram key is stored as the concatenation of one word here the last and an offset encoding the remaining words here the context . After presenting a bit-conscious basic system that typifies such approaches we improve .

• Báo cáo khoa học
• Faster and Smaller
• N Gram Language Models
• Adam Pauls
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Toward Smaller
• Faster
• and Better Hierarchical Phrase based SMT
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball