TAILIEUCHUNG - Báo cáo khoa học: "Simple semi-supervised training of part-of-speech taggers"

Most attempts to train part-of-speech taggers on a mixture of labeled and unlabeled data have failed. In this work stacked learning is used to reduce tagging to a classification task. This simplifies semisupervised training considerably. Our prefered semi-supervised method combines tri-training (Li and Zhou, 2005) and disagreement-based co-training. On the Wall Street Journal, we obtain an error reduction of with SVMTool (Gimenez and Marquez, 2004). | Simple semi-supervised training of part-of-speech taggers Anders S0gaard Center for Language Technology University of Copenhagen soegaard@ Abstract Most attempts to train part-of-speech taggers on a mixture of labeled and unlabeled data have failed. In this work stacked learning is used to reduce tagging to a classification task. This simplifies semisupervised training considerably. Our prefered semi-supervised method combines tri-training Li and Zhou 2005 and disagreement-based co-training. On the Wall Street Journal we obtain an error reduction of with SVMTool Gimenez and Marquez 2004 . 1 Introduction Semi-supervised part-of-speech POS tagging is relatively rare and the main reason seems to be that results have mostly been negative. Meri-aldo 1994 in a now famous negative result attempted to improve HMM POS tagging by expectation maximization with unlabeled data. Clark et al. 2003 reported positive results with little labeled training data but negative results when the amount of labeled training data increased the same seems to be the case in Wang et al. 2007 who use co-training of two diverse POS taggers. Huang et al. 2009 present positive results for self-training a simple bigram POS tagger but results are considerably below state-of-the-art. Recently researchers have explored alternative methods. Suzuki and Isozaki 2008 introduce a semi-supervised extension of conditional random fields that combines supervised and unsupervised probability models by so-called MDF parameter estimation which reduces error on Wall Street Journal WSJ standard splits by about 7 relative to their supervised baseline. Spoustova et al. 2009 use a new pool of unlabeled data tagged by an ensemble of state-of-the-art taggers in every training step of an averaged perceptron POS tagger with 4-5 error reduction. Finally S0gaard 2009 stacks a POS tagger on an unsupervised clustering algorithm trained on large amounts of unlabeled data with mixed results. This work combines a new

• Báo cáo khoa học
• Simple semi supervised training
• part of speech taggers
• Long Papers
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball