TAILIEUCHUNG - Phân loại văn bản tiếng Việt dựa trên mô hình chủ đề

Trong bài viết đề xuất một giải pháp mới trong xử lý tiếng Việt bằng cách xây dựng mô hình chủ đề tiếng Việt. Phương pháp này sử dụng cách thức tìm một từ lõi và phát triển để tự sinh ra các từ khác trong chủ đề dựa trên Naive Bayes. Dựa trên tập dữ liệu huấn luyện, chúng tôi tính toán xác suất của các từ trong mô hình chủ đề tiếng Việt. Kết quả thực nghiệm cho thấy rằng, phương pháp của chúng tôi đề xuất có hiệu quả trong việc phân loại các văn bản tiếng Việt theo nhiều lớp chủ đề nhỏ hơn. Đồng thời, có độ chính xác khá cao và thời gian xử lý phân loại nhanh hơn so với các phương pháp đã được đề xuất trước đó. | Kỷ yếu Hội nghị Khoa học Quốc gia lần thứ IX Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin FAIR 9 Cần Thơ ngày 4-5 8 2016 DOI PHÂN LOẠI VĂN BẢN TIẾNG VIỆT DỰA TRÊN MÔ HÌNH CHỦ ĐỂ Bùi Khánh Linh 1 Nguyễn Thị Thu Hà1 Nguyễn Thị Ngọc Tú1 Đào Thanh Tĩnh2 1 Khoa CNTT Trường Đại học Điện lực Hà Nội 2 Khoa CNTT Trường Đại học Lê Quý Đôn Hà Nội linbk@ hantt@ tunn@ tinhdt@ TÓM TẮT Trong bài báo này chúng tôi đề xuất một giải pháp mới trong xử lý tiếng Việt bằng cách xây dựng mô hình chủ đề tiếng Việt. Phương pháp này sử dụng cách thức tìm một từ lõi và phát triển để tự sinh ra các từ khác trong chủ đề dựa trên Naive Bayes. Dựa trên tập dữ liệu huấn luyện chúng tôi tính toán xác suất của các từ trong mô hình chủ đề tiếng Việt. Kết quả thực nghiệm cho thấy rằng phương pháp của chúng tôi đề xuất có hiệu quả trong việc phân loại các văn bản tiếng Việt theo nhiều lớp chủ đề nhỏ hơn. Đồng thời có độ chính xác khá cao và thời gian xử lý phân loại nhanh hơn so với các phương pháp đã được đề xuất trước đó. Từ khóa Mô hình chủ đề tiếng Việt khai phá văn bản từ lõi Naive Bayes. I. ĐẶT VẤN ĐỀ Phân loại văn bản là một trong những phần quan trọng của việc khai phá dữ liệu văn bản khá nhiều các hệ thống phân loại văn bản sử dụng kỹ thuật dựa trên tri thức knowledge based hoặc dựa trên các luật được xây dựng sẵn để tạo thành một tập hợp các quy tắc logic để hiểu và phân loại văn bản. Mỗi loại hay còn gọi là lớp class tương đương với một chủ đề ví dụ thể thao chính trị hay nghệ thuật . Nhiệm vụ phân loại được bắt đầu xây dựng từ một tập các văn bản D d1 d2 . dn được gọi là tập huấn luyện trong đó các tài liệu di được gán nhãn cj - với cj thuộc tập các chủ đề C c1 c2 . cm . Nhiệm vụ tiếp theo là xác định được mô hình phân loại trên cơ sở đó có thể gán đúng lớp để một tài liệu dk bất kỳ có thể phân loại chính xác vào một trong những chủ đề của tập chủ đề C 1 2 3 6 . Bài toán phân loại văn bản được mô phỏng thành quá trình .

• Ngôn ngữ học
• Mô hình chủ đề
• Khai phá văn bản
• Phân loại văn bản tiếng Việt
• Văn bản tiếng Việt
• Phân loại văn bản tiếng Việt theo chủ đề
• Tiêu luận Phân tích mô hình quản lý
• Quản lý dự án
• Mô hình chủ đầu tư quản lý
• Cải tiến mô hình quản lý
• Thực trạng mô hình quản lý
• Đề tài Quản lý dự án
• Nghiên cứu ứng dụng mô hình
• Tổng quan về mô hình WetSpass
• Cơ sở lý thuyết mô hình WetSpass
• Ứng dụng mô hình WetSpass
• Mô hình WetSpass
• Lý thuyết Naive Bayes
• Khai phá dữ liệu
• Luận văn Thạc sĩ
• Luận văn Thạc sĩ Công nghệ thông tin
• Công cụ tìm kiếm ngữ nghĩa
• Mô hình các chủ đề
• Quy trình xây dựng mô hình các chủ đề
• Thuâṭ toán Latent Dirichlet Allocation
• Công nghệ thông tin
• Hệ thống thông tin
• Mô hình chủ đề ẩn
• Mô hình phân hạng
• Dòng cập nhật trang thái
• Mạng xã hội Twitter
• Mô hình dạy học theo chủ đề
• Vận dụng mô hình dạy học
• Cân bằng của vật rắn
• Dạy học Cân bằng của vật rắn
• Vật lý 10 trung học phổ thông
• Dạy học Vật lý ở CHDCND Lào
• Mô hình đề xuất
• Mô hình LDA
• Cải thiện mô hình tính hạng
• Phương pháp học tính hạng
• Mô hình chủ nghĩa xã hội
• Mô hình xã hội chủ nghĩa của Việt Nam
• Văn kiện Đại hội lần thứ XI
• 4 trụ cột của sự phát triển đất nước
• Văn kiện Đại hội lần thứ XII
• Mô hình dạy học điều tra
• Vận dụng mô hình dạy học điều tra
• Dạy học điều tra theo chủ đề
• Chuyển động thẳng biến đổi đều
• Dạy học Các lực cơ học
• Dạy học điều tra môn Vật lí
• Luận văn Thạc sĩ Sư phạm Toán
• Phương pháp dạy học môn Toán
• Dạy học mô hình hóa toán học
• Chủ đề Hàm số
• Phương pháp dạy học bằng mô hình hóa
• Mô hình 5E
• Dạy học theo mô hình 5E
• Chủ đề sinh trưởng của vi sinh vật
• Dạy học sinh học 10
• Tổ chức dạy học tích hợp
• Chủ đề dạy học STEAM
• Mô hình giáo dục STEAM
• Dạy học chủ đề phòng học xanh
• Dạy học môn Sinh học 11
• Quy trình thiết kế bài học STEAM
• Ứng dụng mô hình CAPM
• Xác định chi phí vốn
• Mô hình tài chính
• Xác định giá trị tài sản
• Mô hình CAPM
• Định giá chứng khoán
• Đề tài chứng khoán
• Mô hình dữ liệu đất đai
• Mô hình chức năng
• Hệ thống thông tin đất đai
• Thông tin đất đai
• Tài nguyên đất đai
• Nguồn lực đất đai
• Năng lực mô hình hóa toán học
• Đánh giá năng lực mô hình hóa toán học
• Giá trị lớn nhất – giá trị nhỏ nhất của hàm số
• Năng lực mô hình hóa
• Hàm số dạy ở lớp 12
• Bài giảng Triết học
• Chủ nghĩa duy vật
• Chủ nghĩa duy tâm
• Giai đoạn phát triển
• Chủ nghĩa tư bản
• Mô hình nhà nước
• Mô hình phân quyền
• Khảo sát hiện trạng
• Xác định yêu cầu
• Đặc tả yêu cầu
• Mô hình phần tích
• Mô hình mô tả yêu cầu khách hàng
• Mô hình hóa yêu cầu
• Hệ thức lượng trong tam giác
• Dạy học môn Hình học 10
• Mô hình toán học
• Đổi mới giáo dục
• Chương trình tích hợp
• Mô hình đa môn
• Mô hình dựa trên chuỗi vấn đề
• Mô hình dựa trên chủ đề
• Chương trình dạy học tích hợp
• Giáo dục phổ thông Australia
• chủ đề mạng
• mạng truyền thông
• tài liệu mạng
• kiến trúc phân tầng
• mô hình OSI
• Suy diễn hậu nghiệm
• Online Frank Wolfe
• Học trực tuyến
• Xấp xỉ ngẫu nhiên
• Thuật toán Online Maximum a Posterior Estimation
• Luận án tiến sĩ
• Luận án tiến sĩ Khoa học máy tính
• Khoa học máy tính
• Phân tích mạng xã hội
• Mô hình chủ đề và ứng dụng
• Phân lớp khối lượng lớn văn bản
• Phân lớp văn bản theo chủ đề
• Xây dựng mô hình phân tán
• Phân lớp văn bản
• Khai thác dữ liệu
• Bài toán suy diễn hậu nghiệm
• Bài toán tối ưu không lồi
• Bài toán NP Hard
• Phương pháp biến phân Variational Bayes