TAILIEUCHUNG - Phân lớp dữ liệu mất cân bằng với thuật toán HBU

Trong bài viết này chúng tôi đề xuất một thuật toán làm giảm số lượng phần tử lớp đa số, đặc biệt là các phần tử ở đường biên, dựa trên Hypothesis margin của các đối tượng thuộc lớp thiểu số để cải thiện hiệu suất phân lớp tập dữ liệu mất cân bằng. | PHÂN LỚP DỮ LIỆU MẤT CÂN BẰNG VỚI THUẬT TOÁN HBU NGUYỄN THỊ LAN ANH Khoa Tin học, Trường Đại học Sư phạm, Đại học Huế Tóm tắt: Dữ liệu mất cân bằng là một trong những nguyên nhân làm giảm hiệu suất của bài toán phân lớp. Nhiều phương pháp đã được nghiên cứu để giải quyết vấn đề này. Trong bài báo này chúng tôi đề xuất một thuật toán làm giảm số lượng phần tử lớp đa số, đặc biệt là các phần tử ở đường biên, dựa trên Hypothesis margin của các đối tượng thuộc lớp thiểu số để cải thiện hiệu suất phân lớp tập dữ liệu mất cân bằng. Từ khóa: Dữ liệu mất cân bằng, phương pháp làm giảm số lượng phần tử, Hypothesis margin 1. GIỚI THIỆU Khi một tập dữ liệu có số lượng phần tử thuộc một hoặc một số nhãn lớp lớn hơn số lượng phần tử thuộc các nhãn lớp còn lại, tập dữ liệu đó được gọi là mất cân bằng. Đối với bài toán phân lớp hai lớp tập dữ liệu bị mất cân bằng, lớp có số lượng phần tử nhiều hơn gọi là lớp đa số, lớp có số phần tử ít hơn gọi là lớp thiểu số. Đây cũng là loại bài toán chúng tôi đề cập đến trong bài báo này. Nghiên cứu về dữ liệu mất cân bằng, trong những năm gần đây, là một trong những vấn đề quan tâm của nhiều nhà khoa học trong nước cũng như trên thế giới bởi tính thực tế và phổ biến của nó. Bài toán phân lớp dữ liệu mất cân bằng nhằm mục đích phát hiện các đối tượng hiếm nhưng quan trọng, và được ứng dụng trong nhiều lĩnh vực khác nhau như phát hiện gian lận tài chính, dự đoán cấu trúc protein, dự đoán tương tác giữa protein-protein, phân lớp microRNA , hay chẩn đoán bệnh trong y học. Dữ liệu mất cân bằng làm giảm hiệu quả của các thuật toán phân lớp truyền thống vì các bộ phân lớp này có khuynh hướng dự đoán lớp đa số và bỏ qua lớp thiểu số [1]. Hay nói cách khác, hầu hết các phần tử thuộc lớp đa số sẽ được phân lớp đúng và các phần tử thuộc lớp thiểu số cũng sẽ được gán nhãn lớp là nhãn lớp của lớp đa số, kết quả là độ chính xác (Accuracy) của việc phân lớp rất cao trong khi độ nhạy (Sensitivity) lại rất thấp. Nhiều phương pháp nâng cao hiệu quả bài toán .

• Toán học
• Dữ liệu mất cân bằng
• Phương pháp làm giảm số lượng phần tử
• Cải thiện hiệu suất phân lớp
• Hypothesis margin
• Thuật toán HBU
• Phân lớp microRNA
• Random Border Undersampling
• Thuật toán mới giảm phần tử ngẫu nhiên
• Đường biên dữ liệu mất cân bằng giới
• Mất cân bằng dữ liệu
• Phân lớp dữ liệu
• Tăng phần tử
• Khai thác luật phân lớp
• Cơ sở dữ liệu mất cân bằng về lớp
• Cơ sở dữ liệu
• Thuộc tính lớp
• Luận văn Thạc sĩ Kỹ thuật
• Khoa học máy tính
• Hiệu năng phân lớp dữ liệu
• Dữ liệu phân bố không cân bằng
• Cấu trúc dữ liệu
• Bài giảng Cấu trúc dữ liệu
• Cây cân bằng AVL
• Cây nhị phân tìm kiếm
• Xử lý mất cân bằng bằng
• Các node trên cây cân bằng
• Bài giảng Cấu trúc dữ liệu và giải thuật
• Cách xây dựng cây cân bằng
• Các trường hợp mất cân bằng cây AVL
• Xử lý mất cân bằng cây AVL
• Thao tác trên cây AVL
• Random Undersampling
• Random Safe Oversampling
• Random Safe Undersampling
• Mức độ an toàn
• Sinh thêm phần tử ngẫu nhiên
• Giảm bớt phần tử ngẫu nhiên
• Khai phá dữ liệu
• Cây quyết định
• Mô hình học máy
• Giải thuật AdaBoost
• Tóm tắt Luận văn Thạc sĩ
• Nghiên cứu phân lớp
• Thuật toán HMU
• Lề giả thuyết
• Số lượng phần tử
• Border line
• Random Sampling
• Over Sampling
• Thuật toán mới Random Border Over Sampling
• Tạp chí Nghiên cứu khoa học
• Phương pháp DEC SVM phân lớp
• Mẫu nhân tạo lớp thiểu số
• Sinh ngẫu nhiên phần tử lớp thiểu số
• Bộ lọc tái lấy mẫu
• Loại bỏ nhiễu
• Thuật toán SMOTE
• Xử lý dữ liệu mất cân bằng
• Chấm điểm tín dụng
• Quản trị rủi ro tín dụng
• Ngân hàng thương mại Việt Nam
• Kỹ thuật lấy mẫu dưới
• Cấu trúc dữ liệu và giải thuật
• Cây nhị phân tìm kiếm cân bằng
• Mất cân bằng cây nhị phân
• Dữ liệu có số chiều cao
• Bình phương tối thiểu từng phần
• Sinh thêm phần tử nhân tạo
• Bộ dữ liệu chuẩn từ nguồn UCI
• Ung thư da
• Ung thư hắc tố
• Phương pháp gán trọng số động
• Hàm mất mát Large Margin Cosine Loss
• Tập dữ liệu HAM10000
• Phát hiện gian lận tài chính
• Gian lận trong tài chính
• Bài toán phát hiện gian lận tài chính
• Kỹ thuật khai phá dữ liệu
• Pin mặt trời
• Phương pháp DEC SVM
• Phân lớp dữ liệu mất cân bằng
• Thiết kế bộ điều khiển thích nghi trượt
• Robot công nghiệp
• Phân loại văn bản
• Chất lượng đào tạo đại học
• Máy học vector hỗ trợ
• Cây quyết định