TAILIEUCHUNG - Báo cáo khoa học: "Contextualizing Semantic Representations Using Syntactically Enriched Vector Models"

We present a syntactically enriched vector model that supports the computation of contextualized semantic representations in a quasi compositional fashion. It employs a systematic combination of first- and second-order context vectors. We apply our model to two different tasks and show that (i) it substantially outperforms previous work on a paraphrase ranking task, and (ii) achieves promising results on a wordsense similarity task; to our knowledge, it is the first time that an unsupervised method has been applied to this task. . | Contextualizing Semantic Representations Using Syntactically Enriched Vector Models Stefan Thater and Hagen Furstenau and Manfred Pinkal Department of Computational Linguistics Saarland University stth hagenf pinkal @ Abstract We present a syntactically enriched vector model that supports the computation of contextualized semantic representations in a quasi compositional fashion. It employs a systematic combination of first- and second-order context vectors. We apply our model to two different tasks and show that i it substantially outperforms previous work on a paraphrase ranking task and ii achieves promising results on a wordsense similarity task to our knowledge it is the first time that an unsupervised method has been applied to this task. 1 Introduction In the logical paradigm of natural-language semantics originating from Montague 1973 semantic structure composition and entailment have been modelled to an impressive degree of detail and formal consistency. These approaches however lack coverage and robustness and their impact on realistic natural-language applications is limited The logical framework suffers from overspecificity and is inappropriate to model the pervasive vagueness ambivalence and uncertainty of natural-language semantics. Also the handcrafting of resources covering the huge amounts of content which are required for deep semantic processing is highly inefficient and expensive. Co-occurrence-based semantic vector models offer an attractive alternative. In the standard approach word meaning is represented by feature vectors with large sets of context words as dimensions and their co-occurrence frequencies as values. Semantic similarity information can be acquired using unsupervised methods at virtually no cost and the information gained is soft and gradual. Many NLP tasks have been modelled successfully using vector-based models. Examples include in formation retrieval Manning et al. 2008 wordsense discrimination Schutze .

• Báo cáo khoa học
• Contextualizing Semantic Representations
• Syntactically Enriched Vector Models
• Stefan Thater and Hagen Fürstenau and Manfred Pinkal
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball