TAILIEUCHUNG - Báo cáo khoa học: "Arabic Retrieval Revisited: Morphological Hole Filling"

Due to Arabic’s morphological complexity, Arabic retrieval benefits greatly from morphological analysis – particularly stemming. However, the best known stemming does not handle linguistic phenomena such as broken plurals and malformed stems. In this paper we propose a model of character-level morphological transformation that is trained using Wikipedia hypertext to page title links. | Arabic Retrieval Revisited Morphological Hole Filling Kareem Darwish Ahmed M. Ali Qatar Computing Research Institute Qatar Foundation Doha Qatar kdarwish@ amali@ Abstract Due to Arabic s morphological complexity Arabic retrieval benefits greatly from morphological analysis - particularly stemming. However the best known stemming does not handle linguistic phenomena such as broken plurals and malformed stems. In this paper we propose a model of character-level morphological transformation that is trained using Wikipedia hypertext to page title links. The use of our model yields statistically significant improvements in Arabic retrieval over the use of the best statistical stemming technique. The technique can potentially be applied to other languages. 1. Introduction Arabic exhibits rich morphological phenomena that complicate retrieval. Arabic nouns and verbs are typically derived from a set of 10 000 roots that are cast into stems using templates that may add infixes double letters or remove letters. Stems can accept the attachment of clitics in the form of prefixes or suffixes such as prepositions determiners pronouns etc. Orthographic rules can cause the addition deletion or substitution of letters during suffix and prefix attachment. Further stems can be inflected to obtain plural forms via the addition of suffixes or through using a different stem form altogether producing so-called broken1 aka irregular plurals. For retrieval we would ideally like to match related stem forms regardless of inflected form or attached clitic. Tolerating some form of derivational morphology where nouns are transformed into adjectives via the attachment of the suffix ự y 2 ex. J x mSr ựj mSry is desirable as they are semantically related. Matching all stems that are cast from the same root would introduce undesired ambiguity because a single root can produce up to 1 000 stems. Two general approaches have been shown to improve Arabic retrieval. The first approach

• Báo cáo khoa học
• Arabic Retrieval Revisited
• Morphological Hole Filling
• Kareem Darwish
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball