TAILIEUCHUNG - Báo cáo khoa học: "Coreference Resolution across Corpora: Languages, Coding Schemes, and Preprocessing Information"

This paper explores the effect that different corpus configurations have on the performance of a coreference resolution system, as measured by MUC, B3 , and CEAF. By varying separately three parameters (language, annotation scheme, and preprocessing information) and applying the same coreference resolution system, the strong bonds between system and corpus are demonstrated. The experiments reveal problems in coreference resolution evaluation relating to task definition, coding schemes, and features. . | Coreference Resolution across Corpora Languages Coding Schemes and Preprocessing Information Marta Recasens CLiC - University of Barcelona Gran Via 585 Barcelona Spain mrecasens@ Abstract This paper explores the effect that different corpus configurations have on the performance of a coreference resolution system as measured by MUC B3 and CEAF. By varying separately three parameters language annotation scheme and preprocessing information and applying the same coreference resolution system the strong bonds between system and corpus are demonstrated. The experiments reveal problems in coreference resolution evaluation relating to task definition coding schemes and features. They also expose systematic biases in the coreference evaluation metrics. We show that system comparison is only possible when corpus parameters are in exact agreement. 1 Introduction The task of coreference resolution which aims to automatically identify the expressions in a text that refer to the same discourse entity has been an increasing research topic in NLP ever since MUC-6 made available the first coreferentially annotated corpus in 1995. Most research has centered around the rules by which mentions are allowed to corefer the features characterizing mention pairs the algorithms for building coreference chains and coreference evaluation methods. The surprisingly important role played by different aspects of the corpus however is an issue to which little attention has been paid. We demonstrate the extent to which a system will be evaluated as performing differently depending on parameters such as the corpus language the way coreference relations are defined in the corresponding coding scheme and the nature and source of preprocessing information. This paper unpacks these issues by running the same system a prototype entity-based architec- Eduard Hovy USC Information Sciences Institute 4676 Admiralty Way Marina del Rey CA USA hovy@ ture called CISTELL on different corpus .

• Báo cáo khoa học
• Coreference Resolution across Corpora
• Coding Schemes
• and Preprocessing Information
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball