TAILIEUCHUNG - Báo cáo khoa học: "Modeling Sentences in the Latent Space"

Sentence Similarity is the process of computing a similarity score between two sentences. Previous sentence similarity work finds that latent semantics approaches to the problem do not perform well due to insufficient information in single sentences. In this paper, we show that by carefully handling words that are not in the sentences (missing words), we can train a reliable latent variable model on sentences. | Modeling Sentences in the Latent Space Weiwei Guo Mona Diab Department of Computer Science Columbia University weiwei@ Center for Computational Learning Systems Columbia University mdiab@ Abstract Sentence Similarity is the process of computing a similarity score between two sentences. Previous sentence similarity work finds that latent semantics approaches to the problem do not perform well due to insufficient information in single sentences. In this paper we show that by carefully handling words that are not in the sentences missing words we can train a reliable latent variable model on sentences. In the process we propose a new evaluation framework for sentence similarity Concept Definition Retrieval. The new framework allows for large scale tuning and testing of Sentence Similarity models. Experiments on the new task and previous data sets show significant improvement of our model over baselines and other traditional latent variable models. Our results indicate comparable and even better performance than current state of the art systems addressing the problem of sentence similarity. 1 Introduction Identifying the degree of semantic similarity SS between two sentences is at the core of many NLP applications that focus on sentence level semantics such as Machine Translation Kauchak and Barzi-lay 2006 Summarization Zhou et al. 2006 Text Coherence Detection Lapata and Barzilay 2005 date almost all Sentence Similarity SS approaches work in the high-dimensional word space and rely mainly on word similarity. There are two main not unrelated disadvantages to word similarity based approaches 1. lexical ambiguity as the pairwise word similarity ignores the semantic interaction between the word and its sentential context 864 2. word co-occurrence information is not sufficiently exploited. Latent variable models such as Latent Semantic Analysis LSA Landauer et al. 1998 Probabilistic Latent Semantic Analysis PLSA Hofmann 1999 Latent .

• Báo cáo khoa học
• Modeling Sentences
• the Latent Space
• Weiwei Guo
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball