TAILIEUCHUNG - Báo cáo khoa học: "Directional Distributional Similarity for Lexical Expansion"

Distributional word similarity is most commonly perceived as a symmetric relation. Yet, one of its major applications is lexical expansion, which is generally asymmetric. This paper investigates the nature of directional (asymmetric) similarity measures, which aim to quantify distributional feature inclusion. We identify desired properties of such measures, specify a particular one based on averaged precision, and demonstrate the empirical benefit of directional measures for expansion. | Directional Distributional Similarity for Lexical Expansion Lili Kotlerman Ido Dagan Idan Szpektor Department of Computer Science Bar-Ilan University Ramat Gan Israel dagan szpekti @ Maayan Zhitomirsky-Geffet Department of Information Science Bar-Ilan University Ramat Gan Israel Abstract Distributional word similarity is most commonly perceived as a symmetric relation. Yet one of its major applications is lexical expansion which is generally asymmetric. This paper investigates the nature of directional asymmetric similarity measures which aim to quantify distributional feature inclusion. We identify desired properties of such measures specify a particular one based on averaged precision and demonstrate the empirical benefit of directional measures for expansion. 1 Introduction Much work on automatic identification of semantically similar terms exploits Distributional Similarity assuming that such terms appear in similar contexts. This has been now an active research area for a couple of decades Hindle 1990 Lin 1998 Weeds and Weir 2003 . This paper is motivated by one of the prominent applications of distributional similarity namely identifying lexical expansions. Lexical expansion looks for terms whose meaning implies that of a given target term such as a query. It is widely employed to overcome lexical variability in applications like Information Retrieval IR Information Extraction IE and Question Answering QA . Often distributional similarity measures are used to identify expanding terms . Xu and Croft 1996 Mandala et al. 1999 . Here we denote the relation between an expanding term u and an expanded term v as u v . While distributional similarity is most prominently modeled by symmetric measures lexical expansion is in general a directional relation. In IR for instance a user looking for baby food will be satisfied with documents about baby pap or baby juice pap food juice food but when looking for frozen

• Báo cáo khoa học
• Directional Distributional Similarity
• Lexical Expansion
• Long Papers
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học