TAILIEUCHUNG - Báo cáo khoa học: "Statistical Sense Disambiguation with Relatively Small Corpora Using Dictionary Definitions "

Corpus-based sense disambiguation methods, like most other statistical NLP approaches, suffer from the problem of data sparseness. In this paper, we describe an approach which overcomes this problem using dictionary definitions. Using the definitionbased conceptual co-occurrence data collected from the relatively small Brown corpus, our sense disambiguation system achieves an average accuracy comparable to human performance given the same contextual information. | Statistical Sense Disambiguation with Relatively Small Corpora Using Dictionary Definitions Alpha K. Luk Microsoft Institute North Ryde NSW 2113 Australia t-alphal@ Department of Computing Macquarie University NSW 2109 Australia Abstract Corpus-based sense disambiguation methods like most other statistical NLP approaches suffer from the problem of data sparseness. In this paper we describe an approach which overcomes this problem using dictionary definitions. Using the definitionbased conceptual co-occurrence data collected from the relatively small Brown corpus our sense disambiguation system achieves an average accuracy comparable to human performance given the same contextual information. 1 Introduction Previous corpus-based sense disambiguation methods require substantial amounts of sense-tagged training data Kelly and Stone 1975 Black 1988 and Hearst 1991 or aligned bilingual corpora Brown et al. 1991 Dagan 1991 and Gale et ủ. 1992 . Yarowsky 1992 introduces a thesaurus-based approach to statistical sense disambiguation which works on monolingual corpora without the need for sense-tagged training data. By collecting statistical data of word occurrences in the context of different thesaurus categories from a relatively large corpus 10 million words the system can identify salient words for each category. Using these salient words the system is able to disambiguate polysemous words with respect to thesaurus categories. Statistical approaches like these generally suffer from the problem of data sparseness. To estimate the salience of a word with reasonable accuracy the system needs the word to have a significant number of occurrences in the corpus. Having large corpora will help but some words are simply too infrequent to make a significant statistical contribution even in a rather large corpus. Moreover huge corpora are not generally available in all domains and storage and processing of very huge corpora can be problematic in some In this .

• Báo cáo khoa học
• Statistical Sense Disambiguation
• Relatively Small Corpora
• Dictionary Definitions
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Word Sense Disambiguation
• Improves Statistical
• Machine Translation
• Statistical Machine Translation
• Marine CARPUAT
• METHODS USING STATISTICAL
• Peter F
• Brown
• Stephen A
• Della Pietra
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học