TAILIEUCHUNG - Báo cáo khoa học: "Online Large-Margin Training of Dependency Parsers"

We present an effective training algorithm for linearly-scored dependency parsers that implements online largemargin multi-class training (Crammer and Singer, 2003; Crammer et al., 2003) on top of efficient parsing techniques for dependency trees (Eisner, 1996). The trained parsers achieve a competitive dependency accuracy for both English and Czech with no language specific enhancements. | Online Large-Margin Training of Dependency Parsers Ryan McDonald Koby Crammer Fernando Pereira Department of Computer and Information Science University of Pennsylvania Philadelphia PA ryantm crammer pereira @ Abstract We present an effective training algorithm for linearly-scored dependency parsers that implements online large-margin multi-class training Crammer and Singer 2003 Crammer et al. 2003 on top of efficient parsing techniques for dependency trees Eisner 1996 . The trained parsers achieve a competitive dependency accuracy for both English and Czech with no language specific enhancements. 1 Introduction Research on training parsers from annotated data has for the most part focused on models and training algorithms for phrase structure parsing. The best phrase-structure parsing models represent gen- eratively the joint probability P x y of sentence x having the structure y Collins 1999 Charniak 2000 . Generative parsing models are very convenient because training consists of computing probability estimates from counts of parsing events in the training set. However generative models make complicated and poorly justified independence assumptions and estimations so we might expect better performance from discriminatively trained models as has been shown for other tasks like document classification Joachims 2002 and shallow parsing Sha and Pereira 2003 . Ratnaparkhi s conditional maximum entropy model Ratnaparkhi 1999 trained to maximize conditional likelihood P y x of the training data performed nearly as well as generative models of the same vintage even though it scores parsing decisions in isolation and thus may suffer from the label bias problem Lafferty et al. 2001 . Discriminatively trained parsers that score entire trees for a given sentence have only recently been investigated Riezler et al. 2002 Clark and Curran 2004 Collins and Roark 2004 Taskar et al. 2004 . The most likely reason for this is that discriminative training requires .

• Báo cáo khoa học
• Online Large Margin
• Training of Dependency Parsers
• Ryan McDonald Koby Crammer Fernando Pereira
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học