TAILIEUCHUNG - Báo cáo khoa học: "Neutralizing Linguistically Problematic Annotations in Unsupervised Dependency Parsing Evaluation"

Dependency parsing is a central NLP task. In this paper we show that the common evaluation for unsupervised dependency parsing is highly sensitive to problematic annotations. We show that for three leading unsupervised parsers (Klein and Manning, 2004; Cohen and Smith, 2009; Spitkovsky et al., 2010a), a small set of parameters can be found whose modification yields a significant improvement in standard evaluation measures. These parameters correspond to local cases where no linguistic consensus exists as to the proper gold annotation. . | Neutralizing Linguistically Problematic Annotations in Unsupervised Dependency Parsing Evaluation Roy Schwartz1 Omri Abend1 Roi Reichart2 Ari Rappoport1 institute of Computer Science Hebrew University of Jerusalem roys02 omria011arir @ 2Computer Science and Artificial Intelligence Laboratory Massachusetts Institute of Technology roiri@ Abstract Dependency parsing is a central NLP task. In this paper we show that the common evaluation for unsupervised dependency parsing is highly sensitive to problematic annotations. We show that for three leading unsupervised parsers Klein and Manning 2004 Cohen and Smith 2009 Spitkovsky et al. 2010a a small set of parameters can be found whose modification yields a significant improvement in standard evaluation measures. These parameters correspond to local cases where no linguistic consensus exists as to the proper gold annotation. Therefore the standard evaluation does not provide a true indication of algorithm quality. We present a new measure Neutral Edge Direction NED and show that it greatly reduces this undesired phenomenon. 1 Introduction Unsupervised induction of dependency parsers is a major NLP task that attracts a substantial amount of research Klein and Manning 2004 Cohen et al. 2008 Headden et al. 2009 Spitkovsky et al. 2010a Gillenwater et al. 2010 Berg-Kirkpatrick et al. 2010 Blunsom and Cohn 2010 inter alia . Parser quality is usually evaluated by comparing its output to a gold standard whose annotations are linguistically motivated. However there are cases in which there is no linguistic consensus as to what the correct annotation is Kubler et al. 2009 . Examples include which verb is the head in a verb group structure . can or eat in can eat and which Omri Abend is grateful to the Azrieli Foundation for the award of an Azrieli Fellowship. 663 noun is the head in a sequence of proper nouns . John or Doe in John Doe . We refer to such annotations as linguistically problematic. For

• Báo cáo khoa học
• Neutralizing Linguistically Problematic Annotations
• Unsupervised Dependency Parsing Evaluation
• Roy Schwartz
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball