TAILIEUCHUNG - Báo cáo khoa học: "Adaptive Language Modeling for Word Prediction"

We present the development and tuning of a topic-adapted language model for word prediction, which improves keystroke savings over a comparable baseline. We outline our plans to develop and integrate style adaptations, building on our experience in topic modeling to dynamically tune the model to both topically and stylistically relevant texts. | Adaptive Language Modeling for Word Prediction Keith Trnka University of Delaware Newark DE 19716 trnka@ Abstract We present the development and tuning of a topic-adapted language model for word prediction which improves keystroke savings over a comparable baseline. We outline our plans to develop and integrate style adaptations building on our experience in topic modeling to dynamically tune the model to both topically and stylistically relevant texts. 1 Introduction People who use Augmentative and Alternative Communication AAC devices communicate slowly often below 10 words per minute wpm compared to 150 wpm or higher for speech Newell et al. 1998 . AAC devices are highly specialized keyboards with speech synthesis typically providing single-button input for common words or phrases but requiring a user to type letter-by-letter for other words called fringe vocabulary. Many commercial systems . PRC s ECO and researchers Li and Hirst 2005 Trnka et al. 2006 Wandmacher and Antoine 2007 Matiasek and Baroni 2003 have leveraged word prediction to help speed AAC communication rate. While the user is typing an utterance letter-by-letter the system continuously provides potential completions of the current word to the user which the user may select. The list of predicted words is generated using a language model. At best modern devices utilize a trigram model and very basic recency promotion. However one of the lamented weaknesses of ngram models is their sensitivity to the training data. They require substantial training data to be accurate and increasingly more data as more of the context is utilized. For example Lesher et al. 1999 demonstrate that bigram and trigram models for word prediction are not saturated even when trained on 3 million words in contrast to a unigram model. In addition to the problem of needing substantial amounts of training text to build a reasonable model ngrams are sensitive to the difference between training and testing user .

• Báo cáo khoa học
• Adaptive Language Modeling
• Word Prediction
• Keith Trnka
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học