TAILIEUCHUNG - Báo cáo khoa học: "Arabic Morphological Tagging, Diacritization, and Lemmatization Using Lexeme Models and Feature Ranking"

We investigate the tasks of general morphological tagging, diacritization, and lemmatization for Arabic. We show that for all tasks we consider, both modeling the lexeme explicitly, and retuning the weights of individual classifiers for the specific task, improve the performance. | Arabic Morphological Tagging Diacritization and Lemmatization Using Lexeme Models and Feature Ranking Ryan Roth Owen Rambow Nizar Habash Mona Diab and Cynthia Rudin Center for Computational Learning Systems Columbia University New York NY 10115 UsA ryanr rambow habash mdiab rudin @ Abstract We investigate the tasks of general morphological tagging diacritization and lemmatiza-tion for Arabic. We show that for all tasks we consider both modeling the lexeme explicitly and retuning the weights of individual classifiers for the specific task improve the performance. 1 Previous Work Arabic is a morphologically rich language in our training corpus of about 288 000 words we find 3279 distinct morphological tags with up to 100 000 possible Because of the large number of tags it is clear that morphological tagging cannot be construed as a simple classification task. Hajic 2000 is the first to use a dictionary as a source of possible morphological analyses and hence tags for an inflected word form. He redefines the tagging task as a choice among the tags proposed by the dictionary using a log-linear model trained on specific ambiguity classes for individual morphological features. Hajic et al. 2005 implement the approach of Hajic 2000 for Arabic. In previous work we follow the same approach Habash and Rambow 2005 using SVM-classifiers for individual morphological features and a simple combining scheme for choosing among competing analyses proposed by the dictionary. Since the dictionary we use BAMA Buck-walter 2004 also includes diacritics orthographic 1 This work was funded under the DARPA GALE program contract HR0011-06-C-0023. We thank several anonymous reviewers for helpful comments. A longer version of this paper is available as a technical report. marks not usually written we extend this approach to the diacritization task in Habash and Rambow 2007 . The work presented in this paper differs from this previous work in that a we introduce a new .

• Báo cáo khoa học
• Arabic Morphological Tagging Diacritization and Lemmatization
• Lexeme Models
• Feature Ranking
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học