TAILIEUCHUNG - Báo cáo khoa học: "Transforming Standard Arabic to Colloquial Arabic"

We present a method for generating Colloquial Egyptian Arabic (CEA) from morphologically disambiguated Modern Standard Arabic (MSA). When used in POS tagging, this process improves the accuracy from to on unseen CEA text, and reduces the percentage of out-ofvocabulary words from to . | Transforming Standard Arabic to Colloquial Arabic Emad Mohamed Behrang Mohit and Kemal Oflazer Carnegie Mellon University - Qatar Doha Qatar emohamed@ behrang@ ko@ Abstract We present a method for generating Colloquial Egyptian Arabic CEA from morphologically disambiguated Modern Standard Arabic MSA . When used in POS tagging this process improves the accuracy from to on unseen CEA text and reduces the percentage of out-ofvocabulary words from to . The process holds promise for any NLP task targeting the dialectal varieties of Arabic . this approach may provide a cheap way to leverage MSA data and morphological resources to create resources for colloquial Arabic to English machine translation. It can also considerably speed up the annotation of Arabic dialects. 1. Introduction Most of the research on Arabic is focused on Modern Standard Arabic. Dialectal varieties have not received much attention due to the lack of dialectal tools and annotated texts Duh and Kirchoff 2005 . In this paper we present a rule-based method to generate Colloquial Egyptian Arabic CEA from Modern Standard Arabic MSA relying on segment-based part-of-speech tags. The transformation process relies on the observation that dialectal varieties of Arabic differ mainly in the use of affixes and function words while the word stem mostly remains unchanged. For example given the Buckwalter-encoded MSA sentence AlAxwAn Almslmwn Im yfwzwA fy AlAntxbAf the rules produce AlAxwAn Almslmyn mfAzw f AlAntxAbAt oLtAu l u-jjl jjA. Jl The Muslim Brotherhood did not win the elections . The availability of segment-based part-of-speech tags is essential since many of the affixes in MSA are ambiguous. For example Im could be either a negative particle or a question work and the word AlAxwAn could be either made of two segments Al xwAn the brothers or three segments Al xw An the two brothers . We first introduce the transformation rules and show that .

• Báo cáo khoa học
• Transforming Standard Arabic
• Colloquial Arabic
• Emad Mohamed
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball