TAILIEUCHUNG - Báo cáo khoa học: "SVD and Clustering for Unsupervised POS Tagging"

We revisit the algorithm of Schütze (1995) for unsupervised part-of-speech tagging. The algorithm uses reduced-rank singular value decomposition followed by clustering to extract latent features from context distributions. As implemented here, it achieves state-of-the-art tagging accuracy at considerably less cost than more recent methods. | SVD and Clustering for Unsupervised POS Tagging Michael Lamar Division of Applied Mathematics Brown University Providence RI USA mlamar@ Mark Johnson Department of Computing Faculty of Science Macquarie University Sydney Australia mjohnson@ Yariv Maron Gonda Brain Research Center Bar-Ilan University Ramat-Gan Israel syarivm@ Elie Bienenstock Division of Applied Mathematics and Department of Neuroscience Brown University Providence RI USA elie@ Abstract We revisit the algorithm of Schutze 1995 for unsupervised part-of-speech tagging. The algorithm uses reduced-rank singular value decomposition followed by clustering to extract latent features from context distributions. As implemented here it achieves state-of-the-art tagging accuracy at considerably less cost than more recent methods. It can also produce a range of finer-grained taggings with potential applications to various tasks. 1 Introduction While supervised approaches are able to solve the part-of-speech POS tagging problem with over 97 accuracy Collins 2002 Toutanova et al. 2003 unsupervised algorithms perform considerably less well. These models attempt to tag text without resources such as an annotated corpus a dictionary etc. The use of singular value decomposition SVD for this problem was introduced in Schutze 1995 . Subsequently a number of methods for POS tagging without a dictionary were examined . by Clark 2000 Clark 2003 Haghighi and Klein 2006 Johnson 2007 Goldwater and Griffiths 2007 Gao and Johnson 2008 and Graẹa et al. 2009 . The latter two using Hidden Markov Models HMMs exhibit the highest performances to These authors contributed equally. date for fully unsupervised POS tagging. The revisited SVD-based approach presented here which we call two-step SVD or SVD2 has four important characteristics. First it achieves state-of-the-art tagging accuracy. Second it requires drastically less computational effort than the best currently available .

• Báo cáo khoa học
• SVD and Clustering
• Unsupervised POS Tagging
• Michael Lamar
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball