TAILIEUCHUNG - Báo cáo khoa học: "Topic-Focused Multi-document Summarization Using an Approximate Oracle Score"

We consider the problem of producing a multi-document summary given a collection of documents. Since most successful methods of multi-document summarization are still largely extractive, in this paper, we explore just how well an extractive method can perform. We introduce an “oracle” score, based on the probability distribution of unigrams in human summaries. We then demonstrate that with the oracle score, we can generate extracts which score, on average, better than the human summaries, when evaluated with ROUGE. . | Topic-Focused Multi-document Summarization Using an Approximate Oracle Score John M. Conroy Judith D. Schlesinger Dianne P. O Leary IDA Center for Computing Sciences University of Maryland Bowie Maryland UsA College Park Maryland USA conroy@ judith@ oleary@ Abstract We consider the problem of producing a multi-document summary given a collection of documents. Since most successful methods of multi-document summarization are still largely extractive in this paper we explore just how well an extractive method can perform. We introduce an oracle score based on the probability distribution of unigrams in human summaries. We then demonstrate that with the oracle score we can generate extracts which score on average better than the human summaries when evaluated with ROUGE. In addition we introduce an approximation to the oracle score which produces a system with the best known performance for the 2005 Document Understanding Conference DUC evaluation. 1 Introduction We consider the problem of producing a multidocument summary given a collection of documents. Most automatic methods of multidocument summarization are largely extractive. This mimics the behavior of humans for single document summarization Kupiec Pendersen and Chen 1995 reported that 79 of the sentences in a human-generated abstract were a direct match to a sentence in a document. In contrast for multi-document summarization Copeck and Szpakowicz 2004 report that no more than 55 of the vocabulary contained in human-generated abstracts can be found in the given documents. Furthermore multiple human summaries on the same collection of documents often have little agreement. For example Hovy and Lin 2002 report that unigram overlap is around 40 . Teufel and van Halteren 2004 used a factoid agreement analysis of human summaries for a single document and concluded that a resulting consensus summary is stable only if 30-40 summaries are collected. In light of the strong evidence that .

• Báo cáo khoa học
• Topic Focused
• Multi document Summarization
• Approximate Oracle Score
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học