TAILIEUCHUNG - Báo cáo khoa học: "Randomized Language Models via Perfect Hash Functions"

We propose a succinct randomized language model which employs a perfect hash function to encode fingerprints of n-grams and their associated probabilities, backoff weights, or other parameters. The scheme can represent any standard n-gram model and is easily combined with existing model reduction techniques such as entropy-pruning. We demonstrate the space-savings of the scheme via machine translation experiments within a distributed language modeling framework. h | Randomized Language Models via Perfect Hash Functions David Talbot School of Informatics University of Edinburgh 2 Buccleuch Place Edinburgh UK Thorsten Brants Google Inc. 1600 Amphitheatre Parkway Mountain View CA 94303 USA brants@ Abstract We propose a succinct randomized language model which employs a perfect hash function to encode fingerprints of n-grams and their associated probabilities backoff weights or other parameters. The scheme can represent any standard n-gram model and is easily combined with existing model reduction techniques such as entropy-pruning. We demonstrate the space-savings of the scheme via machine translation experiments within a distributed language modeling framework. 1 Introduction Language models LMs are a core component in statistical machine translation speech recognition optical character recognition and many other areas. They distinguish plausible word sequences from a set of candidates. LMs are usually implemented as n-gram models parameterized for each distinct sequence of up to n words observed in the training corpus. Using higher-order models and larger amounts of training data can significantly improve performance in applications however the size of the resulting LM can become prohibitive. With large monolingual corpora available in major languages making use of all the available data is now a fundamental challenge in language modeling. Efficiency is paramount in applications such as machine translation which make huge numbers of LM requests per sentence. To scale LMs to larger corpora with higher-order dependencies researchers Work completed while this author was at Google Inc. have considered alternative parameterizations such as class-based models Brown et al. 1992 model reduction techniques such as entropy-based pruning Stolcke 1998 novel represention schemes such as suffix arrays Emami et al. 2007 Golomb Coding Church et al. 2007 and distributed language models that scale more readily .

• Báo cáo khoa học
• Randomized Language Models
• Perfect Hash Functions
• David Talbot
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học