TAILIEUCHUNG - Báo cáo khoa học: "Efficient Optimization of an MDL-Inspired Objective Function for Unsupervised Part-of-Speech Tagging"

The Minimum Description Length (MDL) principle is a method for model selection that trades off between the explanation of the data by the model and the complexity of the model itself. Inspired by the MDL principle, we develop an objective function for generative models that captures the description of the data by the model (log-likelihood) and the description of the model (model size). We also develop a efficient general search algorithm based on the MAP-EM framework to optimize this function. . | Efficient Optimization of an MDL-Inspired Objective Function for Unsupervised Part-of-Speech Tagging Ashish Vaswani1 Adam Pauls2 David Chiang1 information Sciences Institute University of Southern California 4676 Admiralty Way Suite 1001 Marina del Rey CA 90292 avaswani chiang @ Abstract The Minimum Description Length MDL principle is a method for model selection that trades off between the explanation of the data by the model and the complexity of the model itself. Inspired by the MDL principle we develop an objective function for generative models that captures the description of the data by the model log-likelihood and the description of the model model size . We also develop a efficient general search algorithm based on the MAP-EM framework to optimize this function. Since recent work has shown that minimizing the model size in a Hidden Markov Model for part-of-speech POS tagging leads to higher accuracies we test our approach by applying it to this problem. The search algorithm involves a simple change to EM and achieves high POS tagging accuracies on both English and Italian data sets. 1 Introduction The Minimum Description Length MDL principle is a method for model selection that provides a generic solution to the overfitting problem Barron et al. 1998 . A formalization of Ockham s Razor it says that the parameters are to be chosen that minimize the description length of the data given the model plus the description length of the model itself. It has been successfully shown that minimizing the model size in a Hidden Markov Model HMM for part-of-speech POS tagging leads to higher accuracies than simply running the ExpectationMaximization EM algorithm Dempster et al. 1977 . Goldwater and Griffiths 2007 employ a Bayesian approach to POS tagging and use sparse Dirichlet priors to minimize model size. More re- 2Computer Science Division University of California at Berkeley Soda Hall Berkeley CA 94720 adpauls@ cently Ravi and Knight 2009 .

• Báo cáo khoa học
• Efficient Optimization
• an MDL Inspired Objective Function
• Unsupervised Part of Speech Tagging
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball