TAILIEUCHUNG - Xử lý dữ liệu thiếu trong khai phá dữ liệu

Giải quyết vấn đề của dữ liệu thiếu là vấn đề quan trọng trong khai phá dữ liệu và khám phá tri thức. Việc thay thế các giá trị thiếu bởi một giá trị cụ thể mà không ảnh hưởng tới chất lượng của dữ liệu. Bài báo đưa ra bốn mô hình tiêu biểu để giải quyết vấn đề thiếu dữ liệu và cuối cùng là thảo luận về kết quả, so sánh và đưa ra kết luận. | Phùng Thị Thu Hiền và Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ 86(10): 55 - 60 XỬ LÝ DỮ LIỆU THIẾU TRONG KHAI PHÁ DỮ LIỆU Phùng Thị Thu Hiền1*, Phùng Trung Nghĩa2 ,Đoàn Xuân Ngọc3 1 Trường ĐH Kỹ thuật Công nghiệp – ĐH TThái Nguyên Japan Advanced Institute of Science and Technology, 3Cục Thuế tỉnh Thái Nguyên 2 TÓM TẮT Thông tin đóng một vai trò rất quan trọng trong cuộc sống. Sự phát triển của nhiều lĩnh vực nghiên cứu phụ thuộc vào khả năng phát hiện tri thức trong các cơ sở dữ liệu lớn. Các nhà khoa học trong nhiều lĩnh vực nghiên cứu khác nhau đã phát triển các phƣơng thức để phân tích dữ liệu từ đó thu đƣợc thông tin có ích. Các phƣơng thức này phụ thuộc vào dữ liệu và yêu cầu của ngƣời sử dụng. Thật không may, các phƣơng thức truyền thống thƣờng không tƣơng ứng với dữ liệu thực do sự mất mát dữ liệu hoặc dữ liệu sai. Các giá trị thiếu gây ra: - Giảm chất lƣợng của các luật phân lớp sinh bởi hệ thống khai phá dữ liệu. - Ảnh hƣởng tới chất lƣợng của các luật thu đƣợc từ hệ thống khai phá dữ liệu. - Gây khó khăn cho việc rút ra thông tin có ích từ tập dữ liệu. Giải quyết vấn đề của dữ liệu thiếu là vấn đề quan trọng trong khai phá dữ liệu và khám phá tri thức. Việc thay thế các giá trị thiếu bởi một giá trị cụ thể mà không ảnh hƣởng tới chất lƣợng của dữ liệu. Bài báo đƣa ra bốn mô hình tiêu biểu để giải quyết vấn đề thiếu dữ liệu và cuối cùng là thảo luận về kết quả, so sánh và đƣa ra kết luận. Từ khóa: Khai phá dữ liệu (Data mining), Dữ liệu thiếu (missing data). ĐẶT VẤN ĐỀ Sự gia tăng của kích thƣớc dữ liệu và số lƣợng cơ sở dữ liệu hiện nay vƣợt qua khả năng của con ngƣời để phân tích dữ liệu, do vậy vấn đề quan trọng là cần rút ra tri thức từ các cơ sở dữ liệu. Cơ sở dữ liệu Y học chứa lƣợng thông tin lớn về bệnh nhân và điều kiện Y tế của họ. Những mối quan hệ và những mô hình bên trong dữ liệu này đã có thể cung cấp tri thức y học mới. Phân tích dữ liệu y tế thƣờng liên quan đến cách xử lý của tri thức không đầy đủ, với việc quản lý các phần thông tin trái

• Cơ sở dữ liệu
• Xử lý dữ liệu thiếu
• Khai phá dữ liệu
• Khám phá tri thức
• Hệ thống khai phá dữ liệu
• Mô hình dữ liệu
• Phương pháp xử lý dữ liệu thiếu
• Chuỗi dữ liệu thời gian một chiều
• Dữ liệu thiếu
• Ước lượng giá trị thiếu
• Độ tương tự
• Thiếu dữ liệu không ngẫu nhiên
• Bài giảng Khai phá dữ liệu
• Tiền xử lý dữ liệu
• Mô tả dữ liệu
• Làm sạch dữ liệu
• Xử lý dữ liệu bị thiếu
• Phụ tải điện
• Support vector regression
• Số liệu đo đếm
• Mô hình hồi quy
• Hãng hàng không Quốc gia Việt Nam
• Lỗi training của thuật toán RF
• Phân chia chuyến bay
• Thông tin FIMS
• Phương pháp thống kê mới
• Các phương pháp thống kê
• Xử lý dữ liệu chính xác
• Thiếu sót của giáo dục
• Nhà khoa học không chuyên về thống kê
• Bài giảng các mô hình dữ liệu
• Phân loại mô hình dữ liệu
• Mô hình dữ liệu mạng
• Mô hình dữ liệu quan hệ
• Mô hình dữ liệu thực thể
• Cơ sở dữ liệu
• Nhập môn cơ sở dữ liệu
• Hệ cơ sở dữ liệu
• Hệ quản trị cơ sở dữ liệu
• Bài giảng Cơ sở dữ liệu
• Mô hình ER Mô hình ER
• Thiết kế mô hình quan hệ
• Ràng buộc mô hình quan hệ
• Cơ sở dữ liệu Database EE4253
• Khái niệm mô hình dữ liệu
• Ràng buộc trong dữ liệu quan hệ
• Mô hình thực thể kết hợp
• Hệ thống cơ sở dữ liệu
• Mô hình quan hệ
• Mô hình dữ liệu phân cấp
• mô hình dữ liệu NCBI
• cơ sở dữ liệu EMBL EBI
• cơ sở dữ liệu CIB DDBJ
• nghiên cứu sinh học
• sinh học bài giảng sinh học
• Phân tích cơ sở dữ liệu
• Phát triển mô hình dữ liệu TPS
• Mô hình dữ liệu TPS
• GIS 3D quản lý dữ liệu dân cư
• Quản lý dữ liệu dân cư
• Dữ liệu dân cư
• Cơ sở dữ liệu quốc gia về dân cư
• Các mô hình dữ liệu
• Mô hình mạng
• Mô hình thực thể liên kết
• Mô hình ER
• Mô hình ER thời gian
• Mô hình Anchor
• Mô hình dữ liệu mức khái niệm
• Cơ sở dữ liệu thuộc dạng chuẩn 6NF
• Mô hình cơ sở dữ liệu mức khái niệm
• Cơ sở dữ liệu thời gian
• Mô hình TimeER
• Mô hình cơ sở dữ liệu quan hệ
• Quản trị cơ sở dữ liệu
• Bài giảng Quản trị cơ sở dữ liệu
• Mô hình thực thể
• Phân tích dữ liệu
• Mô hình dữ liệu quan niệm
• Luận văn Thạc sĩ
• Luận văn Thạc sĩ Công nghệ thông tin
• Mô hình kiểm soát truy xuất dữ liệu
• Truy xuất dữ liệu
• Mô hình điều khiển truy cập dữ liệu
• Kiểm soát truy xuất dữ liệu theo mô hình mapreduce
• dữ liệu
• thiết kế dữ liệu
• lập trình dữ liệu
• cấu trúc dữ liệu
• dữ liệu quan hệ
• Học phần Cơ sở dữ liệu
• Đề cương học phần Cơ sở dữ liệu
• Cơ sở dữ liệu Bài 2
• Mô hình thực thể mối kết hợp
• Ràng buộc toàn vẹn
• Cơ sở dữ liệu nâng cao
• Bài giảng Cơ sở dữ liệu nâng cao
• Cơ sở dữ liệu quan hệ
• Mô hình hóa dữ liệu
• Mở rộng mô hình quan hệ
• Bài giảng môn học Cơ sở dữ liệu
• Phép toán trên đại số quan hệ
• Phép toán trên đại số tập hợp