TAILIEUCHUNG - Báo cáo khoa học: "A Pylonic Decision-Tree Language Model with Optimal Question Selection"

This paper discusses a decision-tree approach to the problem of assigning probabilities to words following a given text. In contrast with previous decision-tree language model attempts, an algorithm for selecting nearly optimal questions is considered. The model is to be tested on a standard task, The Wall Street Journal, allowing a fair comparison with the well-known trigram model. | A Pylonic Decision-Tree Language Model with Optimal Question Selection Adrian Corduneanu University of Toronto 73 Saint George St 299 Toronto Ontario M5S 2E5 Canada g7adrian@ Abstract This paper discusses a decision-tree approach to the problem of assigning probabilities to words following a given text. In contrast with previous decision-tree language model attempts an algorithm for selecting nearly optimal questions is considered. The model is to be tested on a standard task The Wall Street Journal allowing a fair comparison with the well-known trigram model. 1 Introduction In many applications such as automatic speech recognition machine translation spelling correction etc. a statistical language model LM is needed to assign probabilities to sentences. This probability assignment may be used . to choose one of many transcriptions hypothesized by the recognizer or to make decisions about capitalization. Without any loss of generality we consider models that operate left-to-right on the sentences assigning a probability to the next word given its word history. Specifically we consider statistical LM s which compute probabilities of the type P wn I W1 W2 . Wn-1 where Wi denotes the i-th word in the text. Even for a small vocabulary the space of word histories is so large that any attempt to estimate the conditional probabilities for each distinct history from raw frequencies is infeasible. To make the problem manageable one partitions the word histories into some classes C wi W2 . wn_i and identifies the word probabilities with p wn I C iiq W2 . Wn-1 . Such probabilities are easier to estimate as each class gets significantly more counts from a training corpus. With this setup building a language model becomes a classification problem group the word histories into a small number of classes while preserving their predictive power. Currently popular 7V-gram models classify the word histories by their last N 1 words. N varies from 2 to 4 and the .

• Báo cáo khoa học
• A Pylonic Decision Tree Language Model
• Optimal Question Selection
• Adrian Corduneanu
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học