TAILIEUCHUNG - Báo cáo khoa học: "A New Feature Selection Score for Multinomial Naive Bayes Text Classification Based on KL-Divergence"

We define a new feature selection score for text classification based on the KL-divergence between the distribution of words in training documents and their classes. The score favors words that have a similar distribution in documents of the same class but different distributions in documents of different classes. Experiments on two standard data sets indicate that the new method outperforms mutual information, especially for smaller categories. | A New Feature Selection Score for Multinomial Naive Bayes Text Classification Based on KL-Divergence Karl-Michael Schneider Department of General Linguistics University of Passau 94032 Passau Germany schneide@ Abstract We define a new feature selection score for text classification based on the KL-divergence between the distribution of words in training documents and their classes. The score favors words that have a similar distribution in documents of the same class but different distributions in documents of different classes. Experiments on two standard data sets indicate that the new method outperforms mutual information especially for smaller categories. 1 Introduction Text classification is the assignment of predefined categories to text documents. Text classification has many applications in natural language processing tasks such as E-mail filtering prediction of user preferences and organization of web content. The Naive Bayes classifier is a popular machine learning technique for text classification because it performs well in many domains despite its simplicity Domingos and Pazzani 1997 . Naive Bayes assumes a stochastic model of document generation. Using Bayes rule the model is inverted in order to predict the most likely class for a new document. We assume that documents are generated according to a multinomial event model McCallum and Nigam 1998 . Thus a document is represented as a vector di xn . Xj I of word counts where V is the vocabulary and each xit 2 0 1 2 . indicates how often wt occurs in di. Given model parameters p wt cj and class prior probabilities p cj and assuming independence of the words the most likely class for a document di is computed as c di argmax p cj p d cj j V 1 argmaxp cj Yp wt cj ra wi di j t 1 where n wt di is the number of occurrences of wt in di. p wt cj and p cj are estimated from training documents with known classes using maximum likelihood estimation with a Laplacean prior z . 1 Edi2Cj n wt di p wt

• Báo cáo khoa học
• A New Feature Selection Score
• Multinomial Naive Bayes Text Classification
• KL Divergence
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học