TAILIEUCHUNG - Báo cáo khoa học: "DISTRIBUTIONAL CLUSTERING OF ENGLISH WORDS"

We describe and evaluate experimentally a method for clustering words according to their distribution in particular syntactic contexts. Words are represented by the relative frequency distributions of contexts in which they appear, and relative entropy between those distributions is used as the similarity measure for clustering. Clusters are represented by average context distributions derived from the given words according to their probabilities of cluster membership. | DISTRIBUTIONAL CLUSTERING OF ENGLISH WORDS Fernando Pereira AT T Bell Laboratories 600 Mountain Ave. Murray Hill NJ 07974 USA pereira@ Naftali Tishby Dept of Computer Science Hebrew University Jerusalem 91904 Israel tishby@ . il Lillian Lee Dept of Computer Science Cornell University Ithaca NY 14850 USA llee@ Abstract We describe and evaluate experimentally a method for clustering words according to their distribution in particular syntactic contexts. Words are represented by the relative frequency distributions of contexts in which they appear and relative entropy between those distributions is used as the similarity measure for clustering. Clusters are represented by average context distributions derived from the given words according to their probabilities of cluster membership. In many cases the clusters can be thought of as encoding coarse sense distinctions. Deterministic annealing is used to find lowest distortion sets of clusters as the annealing parameter increases existing clusters become unstable and subdivide yielding a hierarchical soft clustering of the data. Clusters are used as the basis for class models of word coocurrence and the models evaluated with respect to held-out test data. INTRODUCTION Methods for automatically classifying words according to their contexts of use have both scientific and practical interest. The scientific questions arise in connection to distributional views of linguistic particularly lexical structure and also in relation to the question of lexical acquisition both from psychological and computational learning perspectives. From the practical point of view word classification addresses questions of data sparseness and generalization in statistical language models particularly models for deciding among alternative analyses proposed by a grammar. It is well known that a simple tabulation of frequencies of certain words participating in certain configurations for example of .

• Báo cáo khoa học
• DISTRIBUTIONAL CLUSTERING
• ENGLISH WORDS
• Fernando Pereira Naftali Tishby
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Distributional Similarity Models
• Clustering Neighbors
• Lillian Lee
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học