TAILIEUCHUNG - Báo cáo khoa học: " A Noisy-Channel Model for Document Compression"

We present a document compression system that uses a hierarchical noisy-channel model of text production. Our compression system first automatically derives the syntactic structure of each sentence and the overall discourse structure of the text given as input. The system then uses a statistical hierarchical model of text production in order to drop non-important syntactic and discourse constituents so as to generate coherent, grammatical document compressions of arbitrary length. The system outperforms both a baseline and a sentence-based compression system that operates by simplifying sequentially all sentences in a text. . | Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics ACL Philadelphia July 2002 pp. 449-456. A Noisy-Channel Model for Document Compression Hal Daume III and Daniel Marcu Information Sciences Institute University of Southern California 4676 Admiralty Way Suite 1001 Marina del Rey Ca 90292 hdaume marcu @ Abstract We present a document compression system that uses a hierarchical noisy-channel model of text production. Our compression system first automatically derives the syntactic structure of each sentence and the overall discourse structure of the text given as input. The system then uses a statistical hierarchical model of text production in order to drop non-important syntactic and discourse constituents so as to generate coherent grammatical document compressions of arbitrary length. The system outperforms both a baseline and a sentence-based compression system that operates by simplifying sequentially all sentences in a text. Our results support the claim that discourse knowledge plays an important role in document summarization. 1 Introduction Single document summarization systems proposed to date fall within one of the following three classes Extractive summarizers simply select and present to the user the most important sentences in a text see Mani and Maybury 1999 Marcu 2000 Mani 2001 for comprehensive overviews of the methods and algorithms used to accomplish this. Headline generators are noisy-channel probabilistic systems that are trained on large corpora of Headline Text pairs Banko et al. 2000 Berger and Mittal 2000 . These systems produce short sequences of words that are indicative of the content of the text given as input. Sentence simplification systems Chandrasekar et al. 1996 Mahesh 1997 Carroll et al. 1998 Grefenstette 1998 Jing 2000 Knight and Marcu 2000 are capable of compressing long sentences by deleting unimportant words and phrases. Extraction-based summarizers often produce outputs that contain .

• Báo cáo khoa học
• A Noisy Channel Model
• Document Compression
• Hal Daum
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học