TAILIEUCHUNG - Báo cáo khoa học: "Self-Organizing Ò-gram Model for Automatic Word Spacing"

An automatic word spacing is one of the important tasks in Korean language processing and information retrieval. Since there are a number of confusing cases in word spacing of Korean, there are some mistakes in many texts including news articles. This paper presents a high-accurate method for automatic word spacing based on self-organizing Ò-gram model. This method is basically a variant of Ò-gram model, but achieves high accuracy by automatically adapting context size. | Self-Organizing n-gram Model for Automatic Word Spacing Seong-Bae Park Yoon-Shik Tae Se-Young Park Department of Computer Engineering Kyungpook National University Daegu 702-701 Korea sbpark ystae sypark @ Abstract An automatic word spacing is one of the important tasks in Korean language processing and information retrieval. Since there are a number of confusing cases in word spacing of Korean there are some mistakes in many texts including news articles. This paper presents a high-accurate method for automatic word spacing based on self-organizing n-gram model. This method is basically a variant of n-gram model but achieves high accuracy by automatically adapting context size. In order to find the optimal context size the proposed method automatically increases the context size when the contextual distribution after increasing it dose not agree with that of the current context. It also decreases the context size when the distribution of reduced context is similar to that of the current context. This approach achieves high accuracy by considering higher dimensional data in case of necessity and the increased computational cost are compensated by the reduced context size. The experimental results show that the self-organizing structure ofn-gram model enhances the basic model. 1 Introduction Even though Korean widely uses Chinese characters the ideograms it has a word spacing model unlike Chinese and Japanese. The word spacing of Korean however is not a simple task though the basic rule for it is simple. The basic rule asserts that all content words should be spaced. However there are a number of exceptions due to various postpositions and endings. For instance it is difficult to distinguish some postpositions from incomplete nouns. Such exceptions induce many mistakes of word spacing even in news articles. The problem of the inaccurate word spacing is that they are fatal in language processing and information retrieval. The incorrect word spacing .

• Báo cáo khoa học
• Self Organizing Ò gram Model
• Automatic Word Spacing
• Seong Bae Park Yoon Shik Tae Se Young Park
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học