TAILIEUCHUNG - Báo cáo khoa học: "PCFGs, Topic Models, Adaptor Grammars and Learning Topical Collocations and the Structure of Proper Names"

This paper establishes a connection between two apparently very different kinds of probabilistic models. Latent Dirichlet Allocation (LDA) models are used as “topic models” to produce a lowdimensional representation of documents, while Probabilistic Context-Free Grammars (PCFGs) define distributions over trees. The paper begins by showing that LDA topic models can be viewed as a special kind of PCFG, so Bayesian inference for PCFGs can be used to infer Topic Models as well. Adaptor Grammars (AGs) are a hierarchical, non-parameteric Bayesian extension of PCFGs. . | PCFGs Topic Models Adaptor Grammars and Learning Topical Collocations and the Structure of Proper Names Mark Johnson Department of Computing Macquarie University mjohnson@ Abstract This paper establishes a connection between two apparently very different kinds of probabilistic models. Latent Dirichlet Allocation LDA models are used as topic models to produce a lowdimensional representation of documents while Probabilistic Context-Free Grammars PCFGs define distributions over trees. The paper begins by showing that LDA topic models can be viewed as a special kind of PCFG so Bayesian inference for PCFGs can be used to infer Topic Models as well. Adaptor Grammars AGs are a hierarchical non-parameteric Bayesian extension of PCFGs. Exploiting the close relationship between LDA and PCFGs just described we propose two novel probabilistic models that combine insights from LDA and AG models. The first replaces the unigram component of LDA topic models with multi-word sequences or collocations generated by an AG. The second extension builds on the first one to learn aspects of the internal structure of proper names. 1 Introduction Over the last few years there has been considerable interest in Bayesian inference for complex hierarchical models both in machine learning and in computational linguistics. This paper establishes a theoretical connection between two very different kinds of probabilistic models Probabilistic Context-Free Grammars PCFGs and a class of models known as Latent Dirichlet Allocation Blei et al. 2003 Griffiths and Steyvers 2004 models that have been used for a variety of tasks in machine learning. Specifically we show that an LDA model can be expressed as a certain kind of PCFG so Bayesian inference for PCFGs can be used to learn LDA topic models as well. The importance of this observation is primarily theoretical as current Bayesian inference algorithms for PCFGs are less efficient than those for LDA inference. However once this link is

• Báo cáo khoa học
• PCFGs Topic Models
• Adaptor Grammars and Learning Topical Collocations
• the Structure of Proper Names
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball