TAILIEUCHUNG - Nghiên cứu ứng dụng tập phổ biến và luật kết hợp vào bài toán phân loại văn bản Tiếng Việt có xem xét ngữ nghĩa

Bài báo trình bày một số kết quả nghiên cứu ứng dụng các thuật toán tìm tập phổ biến và luật kết hợp vào bài toán phân lớp văn bản. Mô hình vector có thành phần là các cụm danh từ phổ biến được dùng để đặc trưng văn bản. Thuật toán tách từ, gán nhãn từ loại được sử dụng để rút trích các cụm danh từ. Thuật toán tập phổ biến và luật kết hợp được sử dụng để tạo đồ thị đồng hiện các từ trong ngữ cảnh nhất định nhằm xác lập nghĩa của từ trong văn bản và kết hợp với từ điển đồng nghĩa, gần nghĩa để điều chỉnh thành phần của vector văn bản nhằm nâng cao khả năng phân lớp văn bản có xem xét ngữ nghĩa. | TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 9, SỐ 2 -2006 NGHIÊN CỨU ỨNG DỤNG TẬP PHỔ BIẾN VÀ LUẬT KẾT HỢP VÀO BÀI TOÁN PHÂN LOẠI VĂN BẢN TIẾNG VIỆT CÓ XEM XÉT NGỮ NGHĨA Đỗ Phúc Trung tâm Phát triển Công nghệ Thông tin, ĐHQG-HCM (Bài nhận ngày 25 tháng 08 năm 2005, hoàn chỉnh sửa chữa ngày 27 tháng 02 năm 2006) TÓM TẮT : Bài báo trình bày một số kết quả nghiên cứu ứng dụng các thuật toán tìm tập phổ biến và luật kết hợp vào bài toán phân lớp văn bản. Mô hình vector có thành phần là các cụm danh từ phổ biến được dùng để đặc trưng văn bản. Thuật toán tách từ, gán nhãn từ loại được sử dụng để rút trích các cụm danh từ. Thuật toán tập phổ biến và luật kết hợp được sử dụng để tạo đồ thị đồng hiện các từ trong ngữ cảnh nhất định nhằm xác lập nghĩa của từ trong văn bản và kết hợp với từ điển đồng nghĩa, gần nghĩa để điều chỉnh thành phần của vector văn bản nhằm nâng cao khả năng phân lớp văn bản có xem xét ngữ nghĩa. Ngoài ra, luật kết hợp có vế phải là các thuộc tính phân lớp sẽ được sử dụng để làm luật phân lớp. Chúng tôi đã thử nghiệm giải pháp đề xuất vào bài toán phân lớp các tóm tắt bài báo khoa học trong lĩnh vực CNTT tiếng Việt Từ Khoá: Cụm danh từ, Đồ thị đồng hiện, Luật kết hợp, Luật phân lớp, Tập phổ biến THIỆU Với sự xuất hiện của Internet, khối lượng thông tin chủ yếu và chiếm trên 80% vẫn là các thông tin văn bản. Các phương pháp phân loại văn bản trước đây đều dựa trên tiếp cận máy học, mô hình xác suất,cây quyết định, qui nạp thuộc tính, người láng giềng gần nhất, và mới đây là phương pháp support vector machine [11]. Các thuật toán này thường tập trung vào bài toán phân làm 2 lớp và gặp khó khăn với khối lượng dữ liệu lớn. Trong bài báo này, chúng tôi nghiên cứu dùng tập phổ biến và luật kết hợp vào bài toán phân loại văn bản tiếng Việt gồm a)Đặc trưng văn bản: bao gồm tìm dãy từ phổ biến trong tập ngữ liệu văn bản và tạo đồ thị đồng hiện nhằm xác lập nghĩa của từ đặc trưng b) Tạo luật phân lớp văn bản. Bài báo được tổ chức như sau: 1) Giới thiệu 2) Bài toán

• Ngôn ngữ học
• Ứng dụng tập phổ biến
• Bài toán phân loại
• Văn bản Tiếng Việt
• Xem xét ngữ nghĩa
• Cụm danh từ
• Đồ thị đồng hiện
• Luật kết hợp
• Luật phân lớp
• Tập phổ biến
• tài liệu ôn tập địa lý
• địa lý Việt Nam
• bài giảng địa lý
• địa lý THPT
• Đất hiếm và những ứng dụng phổ biến
• thổ nhưỡng Việt Nam
• môn học môđun
• mạng căn bản
• dịch vụ phổ biến
• các dịch vụ Forum
• ứng dụng của Forum
• vận dụng Elearning vào học tập
• Luận văn Thạc sĩ
• Luận văn Thạc sĩ Công nghệ thông tin
• Khai thác tập phổ biến
• Thuật toán Apriori
• Hệ thống song song Hadoop/MapReduce
• Luồng dữ liệu MapReduce
• Tâm lý học
• tập thể lao động
• mâu thuẫn trong tập thể
• giải quyết mâu thuẫn
• ứng dụng của tâm lý
• Bài giảng Khai thác dữ liệu và ứng dụng
• giáo trình bài giảng
• giáo án thực hành
• bài tập thực hành
• đồ án cuối kỳ
• trình bày báo cáo
• báo cáo ngành kỹ thuật
• báo cáo về tin học
• báo cáo ngành văn học
• báo cáo tiếng anh
• Phổ biến giáo dục pháp luật
• Bài giảng Phổ biến giáo dục pháp luật
• Phổ biến giáo dục pháp luật trường học
• Triển khai phổ biến giáo dục pháp luật
• Căn cứ phổ biến giáo dục pháp luật
• Nội dung phổ biến giáo dục pháp luật
• Phổ biến pháp luật trong môn GSCD
• Dạy học môn Giáo dục công dân
• Công tác phổ biến giáo dục pháp luật
• tích hợp phổ biến giáo dục pháp luật
• Hướng dẫn giáo dục phổ biến pháp luật
• Giáo dục công dân trung học cơ sở
• Sử dụng diffset
• Đóng được gán trọng phổ biến
• Cơ sở dữ liệu số lượng
• Gán trọng phổ biến
• Thực tập phương pháp phổ
• Các phương pháp phổ
• Đo phổ tử ngoại và khả biến
• Đo phổ hồng ngoại
• Phương pháp đo phổ hồng ngoại phản xạ
• Luận án tiến sĩ
• Luận án tiến sĩ Toán học
• Khai phá luật kết hợp
• Tập phổ biến có trọng số
• Khai phá tập phổ biến
• Sự phân cấp các mục
• Thuật toán khai thá tập phổ biến
• Sự phân cấp item
• Cấu trúc HIT tree
• Thuật toán MINE FWUI
• Thuật toán hiệu quả
• Hiệu quả khai thác
• Dữ liệu giao dịch
• Khai thác dữ liệu
• Tập phổ biến đống
• Cấu trúc N LIST
• Cấu trúc WN list biểu diễn WD
• Ebook Câu hỏi và bài tập Vật lý và Hóa lý
• Phổ hồng ngoại và Raman
• Phổ tử ngoại và khả biến
• Phổ cộng hưởng từ nhân
• Phổ khối lượng
• Phương pháp phổ tia X
• Phương pháp độ khúc xạ phân tử và momen lưỡng cực
• Phổ hồng ngoại
• Thuật toán song song khai thác
• Thuật toán song song tập sinh tối thiểu
• Tập phổ biến đóng
• Bộ xử lý đa nhân
• Nghiên cứu IBM Almaden
• Tập mục hữu ích cao
• Tập mục hữu ích cao và phổ biến
• Khai phá tập mục hữu ích cao
• Thuật toán ATMTU
• Hướng tiếp cận heuristic
• Tạp chí Nghiên cứu và Phát triển
• Khoa học Tập chí
• Tạp chí phổ biến khoa học đầu tiên
• Ban biên tập
• Cộng tác viên
• Ngưỡng phổ biến động
• Thuật toán khai thác nhanh tập hiếm
• Khai thác tập hiếm
• Ngưỡng minsup động
• Công nghệ thông tin
• Bài toán tìm tập phổ biến
• Khoa học tính toán
• Cấu trúc dữ liệu
• Cơ sở dữ liệu
• Frequent Pattern Tree
• Tóm tắt luận văn Thạc sĩ
• Tóm tắt luận văn Thạc sĩ Khoa học máy tính
• Thuật toán Cori
• Khai thác tập phổ biến tương quan hiếm
• Khoa học máy tính
• Khai thác luật thiết yếu nhất
• Luật thiết yếu nhất
• Thuật toán khai thác luật
• Kết nối Galois
• Khai thác luật kết hợp
• Cơ sở dữ liệu giao dịch lớn
• Tập phổ biến tối đại
• Itemset đồng xuất hiện
• Phương pháp phân vùng phân cấp
• Hệ thống khai thác dữ liệu
• Kỹ thuật phần cứng
• Môi trường tính toán song song
• Thuật toán khai thác song song tập phổ biến
• Tập phổ biến tuyệt đối có trọng số
• Thuật toán AprioriTID PFWI
• Bộ dữ liệu thực của UCI
• Mã giả thuật toán AprioriTID PFWI
• Cấu trúc DSBV
• Khai thác dàn tập phổ biến
• Phương pháp khai thác theo chiều ngang
• Thuật toán Mining Row Item Horizontal