TAILIEUCHUNG - Báo cáo khoa học: "Guessing Parts-of-Speech of Unknown Words Using Global Information"

In this paper, we present a method for guessing POS tags of unknown words using local and global information. Although many existing methods use only local information (. limited window size or intra-sentential features), global information (extra-sentential features) provides valuable clues for predicting POS tags of unknown words. We propose a probabilistic model for POS guessing of unknown words using global information as well as local information, and estimate its parameters using Gibbs sampling. We also attempt to apply the model to semisupervised learning, and conduct experiments on multiple corpora. . | Guessing Parts-of-Speech of Unknown Words Using Global Information Tetsuji Nakagawa Corporate R D Center Oki Electric Industry Co. Ltd. 2 5 7 Honmachi Chuo-ku Osaka 541 0053 Japan nakagawa378@ Abstract In this paper we present a method for guessing POS tags of unknown words using local and global information. Although many existing methods use only local information . limited window size or intra-sentential features global information extra-sentential features provides valuable clues for predicting POS tags of unknown words. We propose a probabilistic model for POS guessing of unknown words using global information as well as local information and estimate its parameters using Gibbs sampling. We also attempt to apply the model to semisupervised learning and conduct experiments on multiple corpora. 1 Introduction Part-of-speech POS tagging is a fundamental language analysis task. In POS tagging we frequently encounter words that do not exist in training data. Such words are called unknown words. They are usually handled by an exceptional process in POS tagging because the tagging system does not have information about the words. Guessing the POS tags of such unknown words is a difficult task. But it is an important issue both for conducting POS tagging accurately and for creating word dictionaries automatically or semi-automatically. There have been many studies on POS guessing of unknown words Mori and Na-gao 1996 Mikheev 1997 Chen et al. 1997 Nagata 1999 Orphanos and Christodoulakis 1999 . In most of these previous works POS tags of unknown words were predicted using only local information such as lexical forms and POS tags of surrounding words or word-internal features . suffixes and character types of the unknown words. However this approach has limitations in available information. For example common nouns and proper nouns are sometimes difficult to distinguish with only the information of a single occurrence because their syntactic functions are .

• Báo cáo khoa học
• Guessing Parts of Speech
• Unknown Words
• Global Information
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học