TAILIEUCHUNG - Nghiên cứu kỹ thuật tiền xử lý dữ liệu trong tối ưu truy vấn cơ sở dữ liệu có kích thước lớn

Bài viết đề xuất kỹ thuật tiền xử lý dữ liệu nhằm tạo ra các dữ liệu có những định dạng phù hợp mà có thể kết hợp với những kỹ thuật truyền thống nhằm tối ưu các truy vấn cơ sở dữ liệu có kích thước lớn. Bài viết đồng thời cũng phân lớp và đề xuất mô hình triển khai cho việc tiền xử lý dữ liệu một cách hiệu quả. | Nghiên cứu kỹ thuật tiền xử lý dữ liệu trong tối ưu truy vấn cơ sở dữ liệu có kích thước lớn Công nghệ thông tin NGHIÊN CỨU KỸ THUẬT TIỀN XỬ LÝ DỮ LIỆU TRONG TỐI ƯU TRUY VẤN CƠ SỞ DỮ LIỆU CÓ KÍCH THƯỚC LỚN Cao Đăng Huy*, Nguyễn Nhật An Tóm tắt: Tối ưu hóa cơ sở dữ liệu là một vấn đề rất quan trọng trong việc xây dựng các ứng dụng cơ sở dữ liệu. Có nhiều công nghệ và kỹ thuật được áp dụng cho việc tối ưu cơ sở dữ liệu như đặt chỉ mục, phân mảnh dữ liệu vv; tuy nhiên với ứng dụng có dữ liệu quá lớn hoặc có tần suất truy cập đồng thời rất cao và những truy vấn dữ liệu khá phức tạp thì những kỹ thuật này chỉ có thể đạt đến một giới hạn nhất định nào đó. Trong bài viết này chúng tôi đề xuất kỹ thuật tiền xử lý dữ liệu nhằm tạo ra các dữ liệu có những định dạng phù hợp mà có thể kết hợp với những kỹ thuật truyền thống nhằm tối ưu các truy vấn cơ sở dữ liệu có kích thước lớn. Bài viết đồng thời cũng phân lớp và đề xuất mô hình triển khai cho việc tiền xử lý dữ liệu một cách hiệu quả. Kết quả thử nghiệm cho bài toán reverse geocode trên dữ liệu không gian trên tập dữ liệu mẫu mà chúng tôi đề xuất có thể cải thiện tốc độ hơn 54 lần và việc triển khai nó trong thực tế cho phép chúng tôi có thể tạo ra được những báo cáo về dữ liệu của hàng trăm triệu đến hàng chục tỷ bản ghi trong thời gian chấp nhận được. Điều này cho thấy cách tiếp cận này là rất khả quan. Từ khóa: Tối ưu cơ sở dữ liệu; Tiền xử lý; Phân mảnh dữ liệu. 1. ĐẶT VẤN ĐỀ Tối ưu hóa về cơ sở dữ liệu là một chủ đề rất được quan tâm và nghiên cứu. Khi xây dựng một hệ thống phần mềm với một cơ sở dữ liệu lớn, có nhiều truy vấn và cập nhật đồng thời thì vấn đề này là cực kỳ quan trọng vì nó ảnh hưởng rất lớn đến sự đáp ứng của hệ thống, trải nghiệm người dùng, thậm chí là sự ổn định, tồn vong của cả một hệ thống phần mềm. Có nhiều giải pháp để tối ưu hóa cơ sở dữ liệu như chuẩn hóa thiết kế, đặt chỉ mục index hợp lý, thiết lập cấu hình hệ thống, tối ưu các .

• Cơ sở dữ liệu
• Tối ưu cơ sở dữ liệu
• Tiền xử lý
• Phân mảnh dữ liệu
• Cơ sở dữ liệu có kích thước lớn
• Truy vấn cơ sở dữ liệu
• Cơ sở dữ liệu
• Nhập môn cơ sở dữ liệu
• Hệ cơ sở dữ liệu
• Hệ quản trị cơ sở dữ liệu
• Tối ưu hoá câu hỏi
• Kỹ thuật tối ưu hóa
• Tối ưu hóa logic
• Bài giảng Cơ sở dữ liệu
• Tối ưu truy vấn
• Nguyên tắc tối ưu
• Các qui tắc chuyển đổi
• Biểu thức tương đương
• Tối ưu hoá câu hỏi truy vấn
• Thuật toán tối ưu
• Nguyên tắc tối ưu hoá câu hỏi truy vấn
• Phép toán quan hệ một ngôi
• Giao hoán phép chọn và phép chiếu
• Bài giảng Các hệ cơ sở dữ liệu
• Tối ưu hóa truy vấn
• Bộ biên dịch câu truy vấn
• Ước lượng chi phí
• Cây truy vấn
• Cơ sở dữ liệu Bài 8
• Tối ưu hóa câu hỏi
• Các phép biến đổi tương đương
• Kỹ thuật tối ưu hóa câu hỏi
• Bài giảng Hệ quản trị cơ sở dữ liệu
• Quy trình thực hiện truy vấn
• Giải thuật Heuristic
• Luận án Tiến sĩ
• Luận án Tiến sĩ Toán học
• Cơ sở Toán học cho Tin học
• Cơ sở dữ liệu hướng đối tượng phân tán
• Thuật toán tối ưu hóa truy vấn
• Luận văn Thạc sĩ
• Luận văn Thạc sĩ Công nghệ thông tin
• Hệ cơ sở dữ liệu phân tán
• Kế hoạch truy vấn tối ưu
• Quá trình xử lý truy vấn hệ phân tán
• Dữ liệu song song
• Lý thuyết dữ liệu song song
• Ứng dụng dữ liệu song song
• Cơ sở dữ liệu song song
• Luận văn thạc sĩ kỹ thuật
• Luận văn khoa học máy tínhĩ
• Luận văn khoa học máy tính
• Nguyên tắc tối ưu hóa câu hỏi
• Quy tắc biến đổi tương đương
• Hệ thống thông tin
• Tối ưu hóa câu truy vấn
• Tối ưu hóa
• Câu truy vấn
• Báo cáo khoa học
• Báo cáo khoa học cấp trường
• Tối ưu hóa truy vấn cơ sở dữ liệu
• Cơ sở dữ liệu phân tán
• Phép biến đổi đại số tương đương
• Nguyên tắc tối ưu hoá
• Ngôn ngữ truy vấn
• Nguyên lý hệ cơ sở dữ liệu
• Tổ chức dữ liệu vật lý
• An toàn dữ liệu
• Toàn vẹn dữ liệu
• Bài giảng Cơ sở dữ liệu nâng cao
• Cơ sở dữ liệu nâng cao
• Tối ưu truy vấn phân tán
• Phân rã truy vấn
• Thao tác dữ liệu
• Ngôn ngữ định nghĩa
• Lý thuyết thiết kế CSDL quan hệ
• Tối ưu hóa lưu trữ
• nén sâu trong DB2 10
• khối dữ liệu
• lập trình XML
• Truy vấn dữ liệu
• Khoa học máy tính
• Cơ sở dữ liệu quan hệ
• Kỹ thuật heuristic
• Tốc độ truy xuất dữ liệu
• Thiết kế cơ sở dữ liệu
• Quản lý giao tác
• Khôi phục sự số
• Quản trị cơ sở dữ liệu
• Lưu trữ dữ liệu
• Mô hình dữ liệu
• Nghiên cứu khoa học
• Báo cáo đề tài nghiên cứu khoa học cấp trường
• Phương pháp tổ chức dữ liệu
• Khai thác dữ liệu
• Cơ sở dữ liệu đào tạo tín chỉ
• Quản trị cơ sở dữ liệu quan hệ