TAILIEUCHUNG - Báo cáo khoa học: "Methods for the Qualitative Evaluation of Lexical Association Measures"

This paper presents methods for a qualitative, unbiased comparison of lexical association measures and the results we have obtained for adjective-noun pairs and preposition-noun-verb triples extracted from German corpora. In our approach, we compare the entire list of candidates, sorted according to the particular measures, to a reference set of manually identified “true positives”. We also show how estimates for the very large number of hapaxlegomena and double occurrences can be inferred from random samples. . | Methods for the Qualitative Evaluation of Lexical Association Measures Stefan Evert IMS University of Stuttgart Azenbergstr. 12 D-70174 Stuttgart Germany evert@ Brigitte Krenn Austrian Research Institute for Artificial Intelligence OFAI Schottengasse 3 A-1010 Vienna Austria brigitte@ Abstract This paper presents methods for a qualitative unbiased comparison of lexical association measures and the results we have obtained for adjective-noun pairs and preposition-noun-verb triples extracted from German corpora. In our approach we compare the entire list of candidates sorted according to the particular measures to a reference set of manually identified true positives . We also show how estimates for the very large number of hapaxlegomena and double occurrences can be inferred from random samples. 1 Introduction In computational linguistics a variety of statistical measures have been proposed for identifying lexical associations between words in lexical tuples extracted from text corpora. Methods used range from pure frequency counts to information theoretic measures and statistical significance tests. While the mathematical properties of those measures have been extensively discussed 1 the strategies employed for evaluating the identification results are far from adequate. Another crucial but still unsolved issue in statistical collocation identification is the treatment of low-frequency data. In this paper we first specify requirements for a qualitative evaluation of lexical association mea- See for instance Manning and Schutze 1999 chapter 5 Kilgarriff 1996 and Pedersen 1996 . sures AMs . Based on these requirements we introduce an experimentation procedure and discuss the evaluation results for a number of widely used AMs. Finally methods and strategies for handling low-frequency data are suggested. The measures2 - Mutual Information MI Church and Hanks 1989 the log-likelihood ratio test Dunning 1993 two statistical tests t-test .

• Báo cáo khoa học
• Methods for the Qualitative Evaluation
• Lexical Association Measures
• Stefan Evert
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• outcome criteria
• qualitative methods
• the evaluation
• based criteria
• Stakeholder dialogues
• Integrated Assessment
• Qualitative research
• Teaching methods
• Activity examples
• NAATI test format
• Foreign languages
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học