TAILIEUCHUNG - Báo cáo khoa học: "Temporal Evaluation"

In this paper we propose a new method for evaluating systems that extract temporal information from text. It uses temporal closure1 to reward relations that are equivalent but distinct. Our metric measures the overall performance of systems with a single score, making comparison between different systems straightforward. Our approach is easy to implement, intuitive, accurate, scalable and computationally inexpensive. | Temporal Evaluation Naushad UzZaman and James F. Allen Computer Science Department University of Rochester Rochester NY USA naushad james @ Abstract In this paper we propose a new method for evaluating systems that extract temporal information from text. It uses temporal closure1 to reward relations that are equivalent but distinct. Our metric measures the overall performance of systems with a single score making comparison between different systems straightforward. Our approach is easy to implement intuitive accurate scalable and computationally inexpensive. 1 Introduction The recent emergence of language processing applications like question answering information extraction and document summarization has motivated the need for temporally-aware systems. This along with the availability of the temporal annotation scheme TimeML Pustejovsky et al. 2003 a temporally annotated corpus TimeBank Pustejovsky et al. 2003 and the temporal evaluation challenges TempEval-1 Verhagen et al. 2007 and TempEval-2 Pustejovsky and Verhagen 2010 has led to an explosion of research on temporal information processing TIP . Prior evaluation methods TempEval-1 2 for different TIP subtasks have borrowed precision and recall measures from the information retrieval community. This has two problems First systems express temporal relations in different yet equivalent ways. Consider a scenario where the 1 Temporal closure is a reasoning mechanism that derives new implied temporal relations . makes implicit temporal relations explicit. For example if we know A before B B before C then using temporal closure we can derive A before C. Allen 1983 demonstrates the closure table for 13 Allen interval relations. 351 reference annotation contains e1 e2 and e2 e3 and the system identifies the relation e1 e3. The traditional evaluation metric will fail to identify e1 e3 as a correct relation which is a logical consequence of the reference annotation. Second traditional evaluations tell

• Báo cáo khoa học
• Temporal Evaluation
• Naushad UzZaman
• James F
• Allen
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Temporal text mining
• Sequential pattern evaluation index
• User behavior prediction
• Phrases using temporal patterns
• Feature words
• CCMP data
• Marine and power planning
• Offshore wind energy
• Spatial and temporal variation
• Vietnam sea
• Evaluation of earthquake potential
• Grid based probabilistic earthquake forecast for Iran
• Grid based probabilistic earthquake forecast
• Probabilistic earthquake forecast
• Spatial temporal Poisson process
• BMC Bioinformatics
• Model checking
• Stochastic temporal logic
• DNA mutation models
• Maximum likelihood
• Scalp defect
• Scalp cancer
• Superficial temporal pedicle flap
• Occipital pedicle flap
• Non controlled clinical intervention
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball