TAILIEUCHUNG - Word Segmentation for Vietnamese Text Categorization: An online corpus approach

Abstract—This paper extends a novel Vietnamese segmentation approach for text categorization. Instead of using annotated training corpus or lexicon which is still lack in Vietnam, we use statistic information extracted directly from a commercial search engine and genetic algorithm to find the most reasonable way of segmentation. The extracted information is document frequency of segmented words. We conduct many thorough experiments to find out the most appropriate mutual information formula in word segmentation step. Our experiment results on segmentation and categorization obtained from online news abstracts clearly show that our approach is very optimistic | 172 1 Word Segmentation for Vietnamese Text Categorization An online corpus approach Thanh V. Nguyen Hoang K. Tran Thanh . Nguyen and Hung Nguyen Abstract This paper extends a novel Vietnamese segmentation approach for text categorization. Instead of using annotated training corpus or lexicon which is still lack in Vietnam we use statistic information extracted directly from a commercial search engine and genetic algorithm to find the most reasonable way of segmentation. The extracted information is document frequency of segmented words. We conduct many thorough experiments to find out the most appropriate mutual information formula in word segmentation step. Our experiment results on segmentation and categorization obtained from online news abstracts clearly show that our approach is very optimistic. It achieves results in nearly 80 human judgment on segmentation and over 90 micro-averaging F in categorization. The processing time is less than one minute per document when enough statistic information was cached. Index Terms Genetic Algorithm Text Categorization Web Corpus Word Segmentation. I. Introduction It has clearly known that word segmentation is a major barrier in text categorization tasks for Asian languages such as Chinese Japanese Korean and Vietnamese. Although Vietnamese is written in extended Latin characters it shares some identical characteristics with the other phonographic southeast Asian languages. Asian languages are hard in determining word boundaries as well as have different phonetic grammatical and semantic features from Euro-Indian languages. Thus it is difficult in trying to fit Vietnamese into wide- and well-investigated approaches on Euro-Indian languages without acceptable Vietnamese word segmentation. Why is identifying word boundary in Vietnamese vital for Vietnamese text categorization According to 18 and our survey most of top-performing text categorization methods the Support Vector Machine 8 k-Nearest Neighbor 16 Linear Least .

• Công nghệ - Môi trường
• giáo dục
• đào tạo
• cao đẳng
• đại học
• Khoa học giáo dục
• Quản lý giáo dục
• Triết học giáo dục
• Triết lí giáo dục
• Lí thuyết giáo dục
• Công nghệ giáo dục
• Cách mạng công nghiệp lần thứ tư
• Luận văn Thạc sĩ Khoa học giáo dục
• Phương pháp dạy học
• Giáo dục truyền thống cách mạng
• Dạy học môn giáo dục công dân
• Trung tâm giáo dục thường xuyên
• Chương trình giáo dục đại học
• Giáo trình giáo dục đại học
• Giáo dục đại học
• Tiểu luận giáo dục học
• Thuyết trình giáo dục đại học
• Giáo dục đại học Việt Nam
• Giáo dục đại học thế giới
• Giáo dục giới tính
• Giáo dục giới tính và tình dục toàn diện
• Môn Giáo dục Kinh tế và Pháp luật
• Luận văn Thạc sĩ Quản lý giáo dục
• Quản lý công tác giáo dục mầm non
• Xã hội hóa giáo dục mầm non
• Giáo dục mầm non tỉnh Nam Định
• Mục tiêu phát triển giáo dục mầm non
• Biện pháp xã hội hóa giáo dục
• Quyết định số 2091 QĐ BGDĐT
• Luật giáo dục
• Điều lệ giáo dục mầm non
• Điều lệ giáo dục phổ thông
• Điều lệ giáo dục thường xuyên
• Quyết định giáo dục
• Kế thừa tư tưởng giáo dục Khổng Tử
• Tư tưởng giáo dục Khổng Tử
• Tư tưởng giáo dục
• Giáo dục của Khổng Tử
• Xây dựng nền giáo dục nước ta
• Xây dựng nền giáo dục
• Module Giáo dục thường xuyên
• Giáo dục thường xuyên
• Module Giáo dục thường xuyên 26
• Chương trình giáo dục pháp luật
• Chương trình giáo dục văn hóa xã hội
• Chương trình giáo dục sức khỏe
• Hệ thống giáo dục quốc dân
• Lịch sử phát triển giáo dục thường xuyên
• Nhiệm vụ của giáo dục thường xuyên
• Xu thế phát triển giáo dục thường xuyên
• Giáo dục Hoa Kỳ
• Giáo dục đại học Hoa Kỳ
• Đặc điểm giáo dục đại học Hoa Kỳ
• Giáo dục phổ thông Việt Nam
• Giáo dục phổ thông Phần Lan
• Giáo dục phổ thông
• Tài chính giáo dục
• Tài chính giáo dục đại học
• Tài chính giáo dục đại học Việt Nam
• Đánh giá chất lượng giáo dục đại học
• Chất lượng giáo dục đại học
• Giáo dục Singapore
• Cấu trúc giáo dục Singapore
• Hệ thống giáo dục
• Hệ thống giáo dục đại học Việt Nam
• Chất lượng sinh viên
• Cải cách giáo dục
• Đánh giá chất lượng giáo dục
• Chất lượng giáo dục
• Giáo dục ngoài công lập
• Quản lý giáo dục kỹ năng sống
• Giáo dục kỹ năng sống
• Giáo dục kỹ năng sống cho học sinh
• Giáo dục kỹ năng sống tại trường học
• Thực trạng giáo dục kỹ năng sống
• Giải pháp giáo dục kỹ năng sống
• Giáo dục đạo đức cho học sinh
• Thực trạng giáo dục đạo đức
• Trung tâm giáo dục nghề nghiệp
• Phương pháp giáo dục
• Đổi mới giáo dục
• Tài liệu Bồi dưỡng cán bộ giáo dục
• Quản lý chất lượng giáo dục
• Mô hình quản lý chất lượng giáo dục
• Kiểm định chất lượng giáo dục
• Luận án Tiến sĩ Khoa học Giáo dục
• Luận án Tiến sĩ
• Tiến sĩ Khoa học Giáo dục
• Luận án Khoa học Giáo dục
• Hoạt động giáo dục ngoài giờ
• Lý luận và Lịch sử giáo dục
• Giáo dục kĩ năng hợp tác
• Nâng cao chất lượng giáo dục trẻ
• Giáo dục đạo đức
• Đổi mới chương trình giáo dục
• Tăng cường trải nghiệm giáo dục
• Quản lý hoạt động giáo dục đạo đức
• Giáo dục hướng nghiệp
• Giáo dục công dân
• Tài nguyên giáo dục mở
• Giáo dục mở
• Phát triển tài nguyên giáo dục mở
• Quyền tiếp cận giáo dục đại học
• Quyền thụ hưởng giáo dục đại học
• Nâng cao chất lượng giáo dục đại học
• Luận văn Thạc sĩ
• Hệ giáo dục thường xuyên
• Giáo dục trung học phổ thông