TAILIEUCHUNG - Báo cáo khoa học: "Efficiently Accessing Wikipedia’s Edit History"

We present an open-source toolkit which allows (i) to reconstruct past states of Wikipedia, and (ii) to efficiently access the edit history of Wikipedia articles. Reconstructing past states of Wikipedia is a prerequisite for reproducing previous experimental work based on Wikipedia. Beyond that, the edit history of Wikipedia articles has been shown to be a valuable knowledge source for NLP, but access is severely impeded by the lack of efficient tools for managing the huge amount of provided data. . | Wikipedia Revision Toolkit Efficiently Accessing Wikipedia s Edit History Oliver Ferschke Torsten Zesch and Iryna Gurevych Ubiquitous Knowledge Processing Lab Computer Science Department Technische Universitat Darmstadt Hochschulstrasse 10 D-64289 Darmstadt Germany http Abstract We present an open-source toolkit which allows i to reconstruct past states of Wikipedia and ii to efficiently access the edit history of Wikipedia articles. Reconstructing past states of Wikipedia is a prerequisite for reproducing previous experimental work based on Wikipedia. Beyond that the edit history of Wikipedia articles has been shown to be a valuable knowledge source for NLP but access is severely impeded by the lack of efficient tools for managing the huge amount of provided data. By using a dedicated storage format our toolkit massively decreases the data volume to less than 2 of the original size and at the same time provides an easy-to-use interface to access the revision data. The language-independent design allows to process any language represented in Wikipedia. We expect this work to consolidate NLP research using Wikipedia in general and to foster research making use of the knowledge encoded in Wikipedia s edit history. 1 Introduction In the last decade the free encyclopedia Wikipedia has become one of the most valuable and comprehensive knowledge sources in Natural Language Processing. It has been used for numerous NLP tasks . word sense disambiguation semantic relatedness measures or text categorization. A detailed survey on usages of Wikipedia in NLP can be found in Medelyan et al. 2009 . The majority of Wikipedia-based NLP algorithms works on single snapshots of Wikipedia which are 97 published by the Wikimedia Foundation as XML dumps at irregular Such a snapshot only represents the state of Wikipedia at a certain fixed point in time while Wikipedia actually is a dynamic resource that is constantly changed by its millions of .

• Báo cáo khoa học
• Efficiently Accessing Wikipedia’s Edit History
• Oliver Ferschke
• Torsten Zesch
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball