TAILIEUCHUNG - Báo cáo khoa học: "Structural Topic Model for Latent Topical Structure Analysis"

Topic models have been successfully applied to many document analysis tasks to discover topics embedded in text. However, existing topic models generally cannot capture the latent topical structures in documents. Since languages are intrinsically cohesive and coherent, modeling and discovering latent topical transition structures within documents would be beneficial for many text analysis tasks. | Structural Topic Model for Latent Topical Structure Analysis Hongning Wang Duo Zhang ChengXiang Zhai Department of Computer Science University of Illinois at Urbana-Champaign Urbana IL 61801 USA wang296 dzhang22 czhai @ Abstract Topic models have been successfully applied to many document analysis tasks to discover topics embedded in text. However existing topic models generally cannot capture the latent topical structures in documents. Since languages are intrinsically cohesive and coherent modeling and discovering latent topical transition structures within documents would be beneficial for many text analysis tasks. In this work we propose a new topic model Structural Topic Model which simultaneously discovers topics and reveals the latent topical structures in text through explicitly modeling topical transitions with a latent first-order Markov chain. Experiment results show that the proposed Structural Topic Model can effectively discover topical structures in text and the identified structures significantly improve the performance of tasks such as sentence annotation and sentence ordering. 1 Introduction A great amount of effort has recently been made in applying statistical topic models Hofmann 1999 Blei et al. 2003 to explore word co-occurrence patterns . topics embedded in documents. Topic models have become important building blocks of many interesting applications see . Blei and Jordan 2003 Blei and Lafferty 2007 Mei et al. 2007 Lu and Zhai 2008 . In general topic models can discover word clustering patterns in documents and project each document to a latent topic space formed by such word clusters. However the topical structure in a document . the internal dependency between the top-1526 ics is generally not captured due to the exchangeability assumption Blei et al. 2003 . the document generation probabilities are invariant to content permutation. In reality natural language text rarely consists of isolated unrelated sentences but

• Báo cáo khoa học
• Structural Topic Model
• Latent Topical Structure Analysis
• Hongning Wang
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball