TAILIEUCHUNG - Báo cáo khoa học: "An Extensive Empirical Study of Collocation Extraction Methods"

This paper presents a status quo of an ongoing research study of collocations – an essential linguistic phenomenon having a wide spectrum of applications in the field of natural language processing. The core of the work is an empirical evaluation of a comprehensive list of automatic collocation extraction methods using precision-recall measures and a proposal of a new approach integrating multiple basic methods and statistical classification. | An Extensive Empirical Study of Collocation Extraction Methods Pavel Pecina Institute of Formal and Applied Linguistics Charles University Prague Czech Republic pecina@ Abstract This paper presents a status quo of an ongoing research study of collocations -an essential linguistic phenomenon having a wide spectrum of applications in the field of natural language processing. The core of the work is an empirical evaluation of a comprehensive list of automatic collocation extraction methods using precision-recall measures and a proposal of a new approach integrating multiple basic methods and statistical classification. We demonstrate that combining multiple independent techniques leads to a significant performance improvement in comparisonwith individualbasic methods. 1 Introduction and motivation Natural language cannot be simply reduced to lexicon and syntax. The fact that individual words cannot be combined freely or randomly is common for most natural languages. The ability of a word to combine with other words can be expressed either intensionally or extensionally. The former case refers to valency. Instances of the latter case are called collocations Cermák and Holub 1982 . The term collocation has several other definitions but none of them is widely accepted. Most attempts are based on a characteristic property of collocations non-compositionality. Choueka 1988 defines a collocational expression as a syntactic and semantic unit whose exact and unambiguous meaning or connotation cannot be derived directly from the meaning or connotation of its components . The term collocation has both linguistic and lexicographic character. It covers a wide range of lexical phenomena such as phrasal verbs light verb compounds idioms stock phrases technological expressions and proper names. Collocations are of high importance for many applications in the field of NLP. The most desirable ones are machine translation word sense disambiguation language generation .

• Báo cáo khoa học
• An Extensive Empirical Study
• Collocation Extraction Methods
• Pavel Pecina
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học