TAILIEUCHUNG - Phương pháp mới dựa trên vùng an toàn nâng cao hiệu quả phân lớp dữ liệu mất cân bằng

Bài viết nghiên cứu cách thức tăng (giảm) phần tử của lớp mất cân bằng dựa trên một mức độ “an toàn”. Từ đó, đề xuất một phương pháp mới vừa tăng số lượng các phần tử an toàn ở lớp thiểu số, vừa giảm các phần tử an toàn ở mức đa số. | PHƯƠNG PHÁP MỚI DỰA TRÊN VÙNG AN TOÀN NÂNG CAO HIỆU QUẢ PHÂN LỚP DỮ LIỆU MẤT CÂN BẰNG BÙI DƯƠNG HƯNG 1 NGUYỄN THỊ HỒNG , ĐẶNG XUÂN THỌ 2 1 Khoa Tin học, Trường Đại học Công đoàn 2 Khoa Công nghệ Thông tin, Trường Đại học Sư phạm Hà Nội Email: thodx@ 2 Tóm tắt: Nghiên cứu bài toán phân lớp trong thực tế như chuẩn đoán y học, phát hiện sự cố tràn dầu, phát hiện gian lận kinh tế tài chính ngày càng được nhiều nhà khoa học quan tâm vì tầm ảnh hưởng lớn của những lĩnh vực này tới con người. Tuy nhiên, nhiều nghiên cứu đã chỉ ra hiệu quả phân lớp của các bài toán này chưa cao do có sự chênh lệch về số lượng phần tử giữa các lớp dữ liệu. Một yêu cầu đặt ra là cần có những hướng tiếp cận mới đối với trường hợp dữ liệu mất cân bằng để tăng tính hiệu quả phân lớp chính xác của thuật toán phân lớp. Bài báo của chúng tôi đề xuất ba thuật toán mới dựa trên mức an toàn nhằm nâng cao hiệu quả phân lớp dữ liệu. Hai thuật toán, Random Safe Oversampling (RSO) và Random Safe Undersampling (RSU) cải tiến trực tiếp từ Random Oversamling và Random Undersampling. Thuật toán thứ ba, Random Safe Over-Undersampling (RSOU) là sự kết hợp của RSO và RSU nhằm đồng thời vừa tăng thêm các phần tử ở lớp thiểu số vừa loại bỏ các phần tử ở lớp đa số ở các vùng an toàn. Từ khóa: Dữ liệu mất cân bằng; Phân lớp dữ liệu; Safe level; Random Oversampling; Random Undersampling; Random Safe Oversampling; Random Safe Undersampling 1. MỞ ĐẦU Ngày nay, một số lượng lớn của dữ liệu được thu thập và lưu trữ trong các cơ sở dữ liệu ở khắp mọi nơi trên thế giới. Không khó để tìm được các cơ sở dữ liệu lên tới Terabytes trong các doanh nghiệp và các trung tâm nghiên cứu [1], [2]. Rất nhiều thông tin và kiến thức vô giá tiềm ẩn trong các cơ sở dữ liệu như vậy, mà chưa có phương pháp tự động hiệu quả để phân tách thông tin [3]. Trong suốt nhiều năm, nhiều thuật toán được tạo ra để phân tách những gì được gọi là “quặng vàng” của tri thức từ các tập dữ liệu lớn. Đặc biệt, trong đó vấn đề phân lớp mất cân

• Cơ sở dữ liệu
• Dữ liệu mất cân bằng
• Phân lớp dữ liệu
• Random Undersampling
• Random Safe Oversampling
• Random Safe Undersampling
• Random Border Undersampling
• Thuật toán mới giảm phần tử ngẫu nhiên
• Đường biên dữ liệu mất cân bằng giới
• Mất cân bằng dữ liệu
• Tăng phần tử
• Khai thác luật phân lớp
• Cơ sở dữ liệu mất cân bằng về lớp
• Cơ sở dữ liệu
• Thuộc tính lớp
• Luận văn Thạc sĩ Kỹ thuật
• Khoa học máy tính
• Hiệu năng phân lớp dữ liệu
• Dữ liệu phân bố không cân bằng
• Cấu trúc dữ liệu
• Bài giảng Cấu trúc dữ liệu
• Cây cân bằng AVL
• Cây nhị phân tìm kiếm
• Xử lý mất cân bằng bằng
• Các node trên cây cân bằng
• Bài giảng Cấu trúc dữ liệu và giải thuật
• Cách xây dựng cây cân bằng
• Các trường hợp mất cân bằng cây AVL
• Xử lý mất cân bằng cây AVL
• Thao tác trên cây AVL
• Mức độ an toàn
• Sinh thêm phần tử ngẫu nhiên
• Giảm bớt phần tử ngẫu nhiên
• Khai phá dữ liệu
• Cây quyết định
• Mô hình học máy
• Giải thuật AdaBoost
• Tóm tắt Luận văn Thạc sĩ
• Nghiên cứu phân lớp
• Thuật toán HMU
• Phương pháp làm giảm số lượng phần tử
• Lề giả thuyết
• Số lượng phần tử
• Cải thiện hiệu suất phân lớp
• Hypothesis margin
• Thuật toán HBU
• Phân lớp microRNA
• Border line
• Random Sampling
• Over Sampling
• Thuật toán mới Random Border Over Sampling
• Tạp chí Nghiên cứu khoa học
• Phương pháp DEC SVM phân lớp
• Mẫu nhân tạo lớp thiểu số
• Sinh ngẫu nhiên phần tử lớp thiểu số
• Bộ lọc tái lấy mẫu
• Loại bỏ nhiễu
• Thuật toán SMOTE
• Xử lý dữ liệu mất cân bằng
• Chấm điểm tín dụng
• Quản trị rủi ro tín dụng
• Ngân hàng thương mại Việt Nam
• Kỹ thuật lấy mẫu dưới
• Cấu trúc dữ liệu và giải thuật
• Cây nhị phân tìm kiếm cân bằng
• Mất cân bằng cây nhị phân
• Dữ liệu có số chiều cao
• Bình phương tối thiểu từng phần
• Sinh thêm phần tử nhân tạo
• Bộ dữ liệu chuẩn từ nguồn UCI
• Ung thư da
• Ung thư hắc tố
• Phương pháp gán trọng số động
• Hàm mất mát Large Margin Cosine Loss
• Tập dữ liệu HAM10000
• Phát hiện gian lận tài chính
• Gian lận trong tài chính
• Bài toán phát hiện gian lận tài chính
• Kỹ thuật khai phá dữ liệu
• Pin mặt trời
• Phương pháp DEC SVM
• Phân lớp dữ liệu mất cân bằng
• Thiết kế bộ điều khiển thích nghi trượt
• Robot công nghiệp
• Phân loại văn bản
• Chất lượng đào tạo đại học
• Máy học vector hỗ trợ
• Cây quyết định