TAILIEUCHUNG - Báo cáo khoa học: "Unsupervised Learning of Arabic Stemming using a Parallel Corpus"

This paper presents an unsupervised learning approach to building a non-English (Arabic) stemmer. The stemming model is based on statistical machine translation and it uses an English stemmer and a small (10K sentences) parallel corpus as its sole training resources. No parallel text is needed after the training phase. Monolingual, unannotated text can be used to further improve the stemmer by allowing it to adapt to a desired domain or genre. | Unsupervised Learning of Arabic Stemming using a Parallel Corpus Monica Rogati Computer Science Department Carnegie Mellon University mrogati@ Scott McCarley Yiming Yang IBM TJ Watson Language Technologies Institute Research Center Carnegie Mellon University jsmc@ yiming@ Abstract This paper presents an unsupervised learning approach to building a non-English Arabic stemmer. The stemming model is based on statistical machine translation and it uses an English stemmer and a small 10K sentences parallel corpus as its sole training resources. No parallel text is needed after the training phase. Monolingual unannotated text can be used to further improve the stemmer by allowing it to adapt to a desired domain or genre. Examples and results will be given for Arabic but the approach is applicable to any language that needs affix removal. Our resource-frugal approach results in agreement with a state of the art proprietary Arabic stemmer built using rules affix lists and human annotated text in addition to an unsupervised component. Task-based evaluation using Arabic information retrieval indicates an improvement of 22-38 in average precision over unstemmed text and 96 of the performance of the proprietary stem-mer above. 1 Introduction Stemming is the process of normalizing word variations by removing prefixes and suffixes. From an t . Work done while a summer intern at IBM TJ Watson Research Center information retrieval point of view prefixes and suffixes add little or no additional meaning in most cases both the efficiency and effectiveness of text processing applications such as information retrieval and machine translation are improved. Building a rule-based stemmer for a new arbitrary language is time consuming and requires experts with linguistic knowledge in that particular language. Supervised learning also requires large quantities of labeled data in the target language and quality declines when using completely .

• Báo cáo khoa học
• Unsupervised Learning of Arabic Stemming
• a Parallel Corpus
• Monica Rogati Scott McCarley Yiming Yang
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học