TAILIEUCHUNG - Báo cáo khoa học: "Arabic Tokenization, Part-of-Speech Tagging and Morphological Disambiguation in One Fell Swoop"

We present an approach to using a morphological analyzer for tokenizing and morphologically tagging (including partof-speech tagging) Arabic words in one process. We learn classifiers for individual morphological features, as well as ways of using these classifiers to choose among entries from the output of the analyzer. We obtain accuracy rates on all tasks in the high nineties. | Arabic Tokenization Part-of-Speech Tagging and Morphological Disambiguation in One Fell Swoop Nizar Habash and Owen Rambow Center for Computational Learning Systems Columbia University New York NY 10115 UsA habash rambow @ Abstract We present an approach to using a morphological analyzer for tokenizing and morphologically tagging including part-of-speech tagging Arabic words in one process. We learn classifiers for individual morphological features as well as ways of using these classifiers to choose among entries from the output of the analyzer. We obtain accuracy rates on all tasks in the high nineties. 1 Introduction Arabic is a morphologically complex The morphological analysis of a word consists of determining the values of a large number of orthogonal features such as basic part-of-speech . noun verb and so on voice gender number information about the clitics and so For Arabic this gives us about 333 000 theoretically possible completely specified morphological analyses . morphological tags of which about 2 200 are actually used in the first 280 000 words of the Penn Arabic Treebank ATB . In contrast English morphological tagsets usually have about 50 tags which cover all morphological variation. As a consequence morphological disambiguation of a word in context . choosing a complete 1We would like to thank Mona Diab for helpful discussions. The work reported in this paper was supported by NSF Award 0329163. The authors are listed in alphabetical order. 2In this paper we only discuss inflectional morphology. Thus the fact that the stem is composed of a root a pattern and an in x vocalism is not relevant except as it affects broken plurals and verb aspect. morphological tag cannot be done successfully using methods developed for English because of data sparseness. Hajic 2000 demonstrates convincingly that morphological disambiguation can be aided by a morphological analyzer which given a word without any context gives us

• Báo cáo khoa học
• Arabic Tokenization
• Part of Speech Tagging
• Morphological Disambiguation in One Fell Swoop
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Simultaneous Tokenization
• Part of Speech Tagging for Arabic
• Morphological Analyzer
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học