TAILIEUCHUNG - Báo cáo khoa học: "Task-oriented Evaluation of Syntactic Parsers and Their Representations"

This paper presents a comparative evaluation of several state-of-the-art English parsers based on different frameworks. Our approach is to measure the impact of each parser when it is used as a component of an information extraction system that performs protein-protein interaction (PPI) identification in biomedical papers. We evaluate eight parsers (based on dependency parsing, phrase structure parsing, or deep parsing) using five different parse representations. We run a PPI system with several combinations of parser and parse representation, and examine their impact on PPI identification accuracy. . | Task-oriented Evaluation of Syntactic Parsers and Their Representations Yusuke Miyao Rune Sa tre Kenji Sagae Takuya Matsuzakil Jun ichi Tsujiitt Department of Computer Science University of Tokyo Japan School of Computer Science University of Manchester UK National Center for Text Mining UK yusuke sagae matuzaki tsujii @ Abstract This paper presents a comparative evaluation of several state-of-the-art English parsers based on different frameworks. Our approach is to measure the impact of each parser when it is used as a component of an information extraction system that performs protein-protein interaction PPI identification in biomedical papers. We evaluate eight parsers based on dependency parsing phrase structure parsing or deep parsing using five different parse representations. We run a PPI system with several combinations of parser and parse representation and examine their impact on PPI identification accuracy. Our experiments show that the levels of accuracy obtained with these different parsers are similar but that accuracy improvements vary when the parsers are retrained with domain-specific data. 1 Introduction Parsing technologies have improved considerably in the past few years and high-performance syntactic parsers are no longer limited to PCFG-based frameworks Charniak 2000 Klein and Manning 2003 Charniak and Johnson 2005 Petrov and Klein 2007 but also include dependency parsers McDonald and Pereira 2006 Nivre and Nilsson 2005 Sagae and Tsujii 2007 and deep parsers Kaplan et al. 2004 Clark and Curran 2004 Miyao and Tsujii 2008 . However efforts to perform extensive comparisons of syntactic parsers based on different frameworks have been limited. The most popular method for parser comparison involves the direct measurement of the parser output accuracy in terms of metrics such as bracketing precision and recall or dependency accuracy. This assumes the existence of a gold-standard test corpus such as the Penn Treebank .

• Báo cáo khoa học
• Task oriented Evaluation
• Syntactic Parsers
• Their Representations
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học