TAILIEUCHUNG - Báo cáo khoa học: "Automatic Part-of-Speech Tagging for Bengali: An Approach for Morphologically Rich Languages in a Poor Resource Scenario"

This paper describes our work on building Part-of-Speech (POS) tagger for Bengali. We have use Hidden Markov Model (HMM) and Maximum Entropy (ME) based stochastic taggers. Bengali is a morphologically rich language and our taggers make use of morphological and contextual information of the words. Since only a small labeled training set is available (45,000 words), simple stochastic approach does not yield very good results. In this work, we have studied the effect of using a morphological analyzer to improve the performance of the tagger. . | Automatic Part-of-Speech Tagging for Bengali An Approach for Morphologically Rich Languages in a Poor Resource Scenario Sandipan Dandapat Sudeshna Sarkar Anupam Basu Department of Computer Science and Engineering Indian Institute of Technology Kharagpur India 721302 sandipan sudeshna @ Abstract This paper describes our work on building Part-of-Speech POS tagger for Bengali. We have use Hidden Markov Model HMM and Maximum Entropy ME based stochastic taggers. Bengali is a morphologically rich language and our taggers make use of morphological and contextual information of the words. Since only a small labeled training set is available 45 000 words simple stochastic approach does not yield very good results. In this work we have studied the effect of using a morphological analyzer to improve the performance of the tagger. We find that the use of morphology helps improve the accuracy of the tagger especially when less amount of tagged corpora are available. 1 Introduction Part-of-Speech POS taggers for natural language texts have been developed using linguistic rules stochastic models as well as a combination of both hybrid taggers . Stochastic models Cutting et al. 1992 Dermatas et al. 1995 Brants 2000 have been widely used in POS tagging for simplicity and language independence of the models. Among stochastic models bi-gram and tri-gram Hidden Markov Model HMM are quite popular. Development of a high accuracy stochastic tagger requires a large amount of annotated text. Stochastic taggers with more than 95 word-level accuracy have been developed for English German and other European Languages for which large labeled data is available. Our aim here is to develop a stochastic POS tagger for Bengali but we are limited by lack of a large annotated corpus for Bengali. Simple HMM models do not achieve high accuracy when the training set is small. In such cases ad 221 ditional information may be coded into the HMM model to achieve higher .

• Báo cáo khoa học
• Automatic Part of Speech Tagging for Bengali
• An Approach for Morphologically Rich Languages
• Poor Resource Scenario
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học