TAILIEUCHUNG - Báo cáo khoa học: "Extracting and Classifying Urdu Multiword Expressions"

This paper describes a method for automatically extracting and classifying multiword expressions (MWEs) for Urdu on the basis of a relatively small unannotated corpus (around million tokens). The MWEs are extracted by an unsupervised method and classified into two distinct classes, namely locations and person names. The classification is based on simple heuristics that take the co-occurrence of MWEs with distinct postpositions into account. | Extracting and Classifying Urdu Multiword Expressions Annette Hautli Department of Linguistics University of Konstanz Germany Sebastian Sulger Department of Linguistics University of Konstanz Germany Abstract This paper describes a method for automatically extracting and classifying multiword expressions MWEs for Urdu on the basis of a relatively small unannotated corpus around million tokens . The MWEs are extracted by an unsupervised method and classified into two distinct classes namely locations and person names. The classification is based on simple heuristics that take the co-occurrence of MWEs with distinct postpositions into account. The resulting classes are evaluated against a hand-annotated gold standard and achieve an f-score of and for locations and persons respectively. A target application is the Urdu ParGram grammar where MWEs are needed to generate a more precise syntactic and semantic analysis. 1 Introduction Multiword expressions MWEs are expressions which can be semantically and syntactically idiosyncratic in nature acting as a single unit their meaning is not always predictable from their components. Their identification is therefore an important task for any Natural Language Processing NLP application that goes beyond the analysis of pure surface structure in particular for languages with few other NLP tools available. There is a vast amount of literature on extracting and classifying MWEs automatically many approaches rely on already available resources that aid during the acquisition process. In the case of the Indo-Aryan language Urdu a lack of linguistic re 24 sources such as annotated corpora or lexical knowledge bases impedes the task of detecting and classifying MWEs. Nevertheless statistical measures and language-specific syntactic information can be employed to extract and classify MWEs. Therefore the method described in this paper can partly overcome the .

• Báo cáo khoa học
• Extracting and Classifying Urdu Multiword Expressions
• Annette Hautli
• Long Papers
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball