TAILIEUCHUNG - Báo cáo khoa học: "Collocation Extraction beyond the Independence Assumption"

In this paper we start to explore two-part collocation extraction association measures that do not estimate expected probabilities on the basis of the independence assumption. We propose two new measures based upon the well-known measures of mutual information and pointwise mutual information. | Collocation Extraction beyond the Independence Assumption Gerlof Bouma Universitat Potsdam Department Linguistik Campus Golm Haus 24 35 Karl-Liebknecht-StraBe 24-25 14476 Potsdam Germany Abstract In this paper we start to explore two-part collocation extraction association measures that do not estimate expected probabilities on the basis of the independence assumption. We propose two new measures based upon the well-known measures of mutual information and pointwise mutual information. Expected probabilities are derived from automatically trained Aggregate Markov Models. On three collocation gold standards we find the new association measures vary in their effectiveness. 1 Introduction Collocation extraction typically proceeds by scoring collocation candidates with an association measure where high scores are taken to indicate likely collocationhood. Two well-known such measures are pointwise mutual information PMI and mutual information MI . In terms of observing a combination of words w1 w2 these are p wi w2 . i W1 W2 log 1 p wi p W2 I wi W2 2 p x y i x y . 2 xe wi -W1 y w2 -W2 PMI 1 is the logged ratio of the observed bigramme probability and the expected bigramme probability under independence of the two words in the combination. MI 2 is the expected outcome of PMI and measures how much information of the distribution of one word is contained in the distribution of the other. PMI was introduced into the collocation extraction field by Church and Hanks 1990 . Dunning 1993 proposed the use of the likelihoodratio test statistic which is equivalent to MI up to a constant factor. Two aspects of P MI are worth highlighting. First the observed occurrence probability pobs is compared to the expected occurrence probability pexp. Secondly the independence assumption underlies the estimation of pexp. The first aspect is motivated by the observation that interesting combinations are often those that are unexpectedly frequent. For instance the .

• Báo cáo khoa học
• Collocation Extraction beyond
• Independence Assumption
• Gerlof Bouma
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball