TAILIEUCHUNG - Báo cáo khoa học: "A Syntactic and Lexical-Based Discourse Segmenter"

We present a syntactic and lexically based discourse segmenter (SLSeg) that is designed to avoid the common problem of over-segmenting text. Segmentation is the first step in a discourse parser, a system that constructs discourse trees from elementary discourse units. We compare SLSeg to a probabilistic segmenter, showing that a conservative approach increases precision at the expense of recall, while retaining a high F-score across both formal and informal texts. | A Syntactic and Lexical-Based Discourse Segmenter Milan Tofiloski School of Computing Science Simon Fraser University Burnaby BC Canada mta45@ Julian Brooke Department of Linguistics Simon Fraser University Burnaby BC Canada jab18@ Maite Taboada Department of Linguistics Simon Fraser University Burnaby BC Canada mtaboada@ Abstract We present a syntactic and lexically based discourse segmenter SLSeg that is designed to avoid the common problem of over-segmenting text. Segmentation is the first step in a discourse parser a system that constructs discourse trees from elementary discourse units. We compare SLSeg to a probabilistic segmenter showing that a conservative approach increases precision at the expense of recall while retaining a high F-score across both formal and informal texts. 1 Introduction Discourse segmentation is the process of decomposing discourse into elementary discourse units EDUs which may be simple sentences or clauses in a complex sentence and from which discourse trees are constructed. In this sense we are performing low-level discourse segmentation as opposed to segmenting text into chunks or topics . Passonneau and Litman 1997 . Since segmentation is the first stage of discourse parsing quality discourse segments are critical to building quality discourse representations Soricut and Marcu 2003 . Our objective is to construct a discourse segmenter that is robust in handling both formal newswire and informal online reviews texts while minimizing the insertion of incorrect discourse boundaries. Robustness is achieved by constructing discourse segments in a principled way using syntactic and lexical information. Our approach employs a set of rules for inserting segment boundaries based on the syntax of each sentence. The segment boundaries are then further refined by using lexical information that This work was supported by an NSERC Discovery Grant 261104-2008 to Maite Taboada. We thank Angela Cooper and Morgan Mameni for .

• Báo cáo khoa học
• A Syntactic and Lexical Based Discourse Segmenter
• Milan Tofiloski
• Long Papers
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học