TAILIEUCHUNG - Báo cáo khoa học: "N Semantic Classes are Harder than Two"

We show that we can automatically classify semantically related phrases into 10 classes. Classification robustness is improved by training with multiple sources of evidence, including within-document cooccurrence, HTML markup, syntactic relationships in sentences, substitutability in query logs, and string similarity. Our work provides a benchmark for automatic n-way classification into WordNet’s semantic classes, both on a TREC news corpus and on a corpus of substitutable search query phrases. . | N Semantic Classes are Harder than Two Wiley Greiner Los Angeles Software Inc. 1329 Pine Street Santa Monica CA 90405 I Ben Carterette Rosie Jones CIIR Yahoo Research University of Massachusetts 3333 Empire Ave. Amherst MA 01003 Burbank CA 91504 carteret@ jonesr@ Cory Barr Yahoo Research 3333 Empire Ave. Burbank CA 91504 barrc@ Abstract We show that we can automatically classify semantically related phrases into 10 classes. Classification robustness is improved by training with multiple sources of evidence including within-document cooccurrence HTML markup syntactic relationships in sentences substitutability in query logs and string similarity. Our work provides a benchmark for automatic n-way classification into WordNet s semantic classes both on a TREC news corpus and on a corpus of substitutable search query phrases. 1 Introduction Identifying semantically related phrases has been demonstrated to be useful in information retrieval Anick 2003 Terra and Clarke 2004 and sponsored search Jones et al. 2006 . Work on semantic entailment often includes lexical entailment as a subtask Dagan et al. 2005 . We draw a distinction between the task of identifying terms which are topically related and identifying the specific semantic class. For example the terms dog puppy canine schnauzer cat and pet are highly related terms which can be identified using techniques that include distributional similarity Lee 1999 and within-document cooccurrence measures such as pointwise mutual information Turney et al. 2003 . These techniques however do not allow us to distinguish the more specific relationships hypernym dog puppy This work was carried out while these authors were at Yahoo Research. hyponym dog canine coordinate dog cat Lexical resources such as WordNet Miller 1995 are extremely useful but are limited by being manually constructed. They do not contain semantic class relationships for the many new terms we encounter

• Báo cáo khoa học
• N Semantic Classes
• Harder than Two
• Cory Barr Wiley Greiner
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học