TAILIEUCHUNG - Báo cáo khoa học: "Simple Unsupervised Grammar Induction from Raw Text with Cascaded Finite State Models"

We consider a new subproblem of unsupervised parsing from raw text, unsupervised partial parsing—the unsupervised version of text chunking. We show that addressing this task directly, using probabilistic finite-state methods, produces better results than relying on the local predictions of a current best unsupervised parser, Seginer’s (2007) CCL. These finite-state models are combined in a cascade to produce more general (full-sentence) constituent structures; doing so outperforms CCL by a wide margin in unlabeled PARSEVAL scores for English, German and Chinese. . | Simple Unsupervised Grammar Induction from Raw Text with Cascaded Finite State Models Elias Ponvert Jason Baldridge and Katrin Erk Department of Linguistics The University of Texas at Austin Austin TX 78712 ponvert jbaldrid @ Abstract We consider a new subproblem of unsupervised parsing from raw text unsupervised partial parsing the unsupervised version of text chunking. We show that addressing this task directly using probabilistic finite-state methods produces better results than relying on the local predictions of a current best unsupervised parser Seginer s 2007 CCL. These finite-state models are combined in a cascade to produce more general full-sentence constituent structures doing so outperforms CCL by a wide margin in unlabeled PARSEVAL scores for English German and Chinese. Finally we address the use of phrasal punctuation as a heuristic indicator of phrasal boundaries both in our system and in CCL. 1 Introduction Unsupervised grammar induction has been an active area of research in computational linguistics for over twenty years Lari and Young 1990 Pereira and Schabes 1992 Charniak 1993 . Recent work Headden III et al. 2009 Cohen and Smith 2009 Hanig 2010 Spitkovsky et al. 2010 has largely built on the dependency model with valence of Klein and Manning 2004 and is characterized by its reliance on gold-standard part-of-speech POS annotations the models are trained on and evaluated using sequences of POS tags rather than raw tokens. This is also true for models which are not successors of Klein and Manning Bod 2006 Hanig 2010 . An exception which learns from raw text and makes no use of POS tags is the common cover links parser CCL Seginer 2007 . CCL established state-of-the-art results for unsupervised constituency pars-1077 ing from raw text and it is also incremental and extremely fast for both learning and parsing. Unfortunately CCL is a non-probabilistic algorithm based on a complex set of inter-relating heuristics and a .

• Báo cáo khoa học
• Simple Unsupervised Grammar Induction
• Raw Text
• Cascaded Finite State Models
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball