TAILIEUCHUNG - Phát triển nền tảng phân tích dữ liệu thời gian thực cho thành phố thông minh

Hiện nay, các thành phố hiện đại đang tìm cách xây dựng các ứng dụng thông minh có thể cung cấp nhiều dịch vụ công ích đáp ứng mọi nhu cầu của người dân. Bài viết Phát triển nền tảng phân tích dữ liệu thời gian thực cho thành phố thông minh giới thiệu quy trình công nghệ phân tích dữ liệu lớn mới được cho là hiệu quả hơn so với ETL. | Tuyển tập Hội nghị Khoa học thường niên năm 2018. ISBN 978-604-82-2548-3 PHÁT TRIỂN NỀN TẢNG PHÂN TÍCH DỮ LIỆU THỜI GIAN THỰC CHO THÀNH PHỐ THÔNG MINH Nguyễn Văn Nam1 Nguyễn Ngọc Doanh2 1 2 JEAI WARM Thuyloi University Vietnam and UMMISCO IRD France MSLab CSE Thuyloi University 1. GIỚI THIỆU CHUNG . Quy trình khai thác dữ liệu lớn Hiện nay các thành phố hiện đại đang tìm Lưu trữ dữ liệu Tương tác dữ liệu Dữ Thu thập dữ liệut cách xây dựng các ứng dụng thông minh có liệu thể cung cấp nhiều dịch vụ công ích đáp ứng mọi nhu cầu của người dân. Điều này có thể Hình 1. Quy trình khai thác được thực hiện thông qua việc phân tích dữ Quy trình khai thác dữ liệu lớn Hình 1 liệu nhật ký ghi lại các sự kiện xảy ra hàng được chia thành ba giai đoạn chính là thu ngày hàng giờ. Quy trình công nghệ khai thập dữ liệu ingestion lưu trữ dữ liệu phá dữ liệu truyền thống ETL Extract- storage và tương tác dữ liệu interaction Transfer-Load loại bỏ dữ liệu dư thừa gây ISI 2 . Quy trình ISI có tính mở cho phép thất thoát lượng lớn thông tin. Mục đích của thu nhận các dữ liệu mới với khuôn dạng và bài báo là giới thiệu quy trình công nghệ kích thước thay đổi lưu trữ dữ liệu phân tán phân tích dữ liệu lớn mới được cho là hiệu phân tích và xử lý dữ liệu gốc nhanh. quả hơn so với ETL. . Thu thập dữ liệu 2. PHƯƠNG PHÁP NGHIÊN CỨU Giai đoạn thu thập dữ liệu thực hiện hai công . Đặt vấn đề việc chính là phân giải dữ liệu data filtering và vận chuyển dữ liệu data shipping . Thông tin về mọi hoạt động hàng ngày Dữ liệu lớn phi cấu trúc và thường là tuần trong thành phố thường được phản ánh và lưu tự theo thời gian cần phải được phân giải lại dưới dạng dữ liệu nhật ký. Đây là loại dữ thông qua các lược đồ dữ liệu data schema . liệu lớn có khuôn dạng và kích thước không Lược đồ dữ liệu tuần tự đơn giản nhất là các xác định do tiến hóa liên tục. Nhưng đây lại tệp CSV trong đó sử dụng dấu phân cách để là nguồn dữ liệu có giá trị lớn cần phải được phân tách các trường thông tin. Tuy nhiên .

• Cơ sở dữ liệu
• Dữ liệu thời gian thực
• Lược đồ dữ liệu Avro
• Lưu trữ dữ liệu
• Quy trình ISI
• Quản trị cơ sở dữ liệu NoSQL
• Thời gian thực
• Truyền dữ liệu phân tán thời gian thực
• Mô phỏng phân tán
• Sa bàn số 3D
• Nền hải đồ số
• Cơ sở dữ liệu
• Dữ liệu thời gian
• Hệ thống thông tin
• Mô hình thực thể
• Mô hình TimeER
• Mô hình thực thể quan hệ thời gian
• Thiết kế cơ sở dữ liệu
• Cơ sở dữ liệu thời gian
• Mô hình quan hệ
• Tập thực thể
• Kỷ yếu hội nghị Quốc gia về Điện tử truyền thông
• Truyền dữ liệu thời gian thực
• Ánh sáng đèn LED
• Kênh truyền ánh sáng
• Công nghệ truyền thông bằng ánh sáng nhìn thấy
• Mô hình ER
• Mô hình ER thời gian
• Mô hình Anchor
• Mô hình dữ liệu mức khái niệm
• Cơ sở dữ liệu thuộc dạng chuẩn 6NF
• Mô hình thực thể quan hệ
• Mô hình ER truyền thống
• Thiết kế hệ thống thông tin
• Xây dựng cơ sở dữ liệu
• Quy trình thao tác may sản phẩm dệt kim
• Sản phẩm dệt kim
• Thời gian thực hiện thao tác may
• Công nghệ may
• Dữ liệu không gian lớn
• Phần mềm xử lý dữ liệu
• Điện toán đám mây
• Dữ liệu quan sát Trái đất
• Tập dữ liệu hình ảnh vệ tinh
• HealthDL hệ thống thu thập dữ liệu
• Lưu trữ dữ liệu Y tế
• Dữ liệu Y tế lớn
• Cơ sở dữ liệu phân tán
• Dịch tễ học
• Dữ liệu lớn
• Dịch vụ viễn thông
• Hệ thống bốc số xếp hàng đồng bộ
• Thực đa giao thức
• Cơ sở dữ liệu thời gian thực
• Giao thức truyền thông
• Luận văn Thạc sĩ
• Xử lý ảnh video
• Công nghệ Kỹ thuật Điện tử
• Xử lý ảnh video theo thời gian thực
• Phát triển phần mềm nhúng
• Truyền dữ liệu ảnh
• Đồ án tốt nghiệp
• Công nghệ thông tin
• Xây dựng hệ quản trị cơ sở dữ liệu
• Lập trình NodeJS
• Đồ án công nghệ thông tin
• Quản trị cơ sở dữ liệu
• Dữ liệu lượng mưa
• Dữ liệu viễn thám
• Công tác giám sát
• Cảnh báo lũ lụt
• Hệ thống phân tích lũ lụt tích hợp
• Truyền dữ liệu
• Mạng máy tính
• Kỹ thuật gán nhãn
• Thời gian vector
• An ninh thông tin
• Đo đạc bản đồ
• Trắc địa bản đồ
• Chuỗi ảnh lập thể theo thời gian
• Điều kiện thực địa
• luận văn
• thị trường chứng khoán
• dự đoán thị trường chứng khoán
• khia phá dữ liệu
• dữ liệu VN index
• Xây dựng hệ thống thu thập dữ liệu
• Hệ thống thu thập dữ liệu và giám sát
• Thông số môi trường nước thải
• Thông số môi trường khí thải
• Nước thải công nghiệp
• Dữ liệu ảnh vệ tinh MODIS
• Công nghệ viễn thám
• Đặc trưng bức xạ nhiệt
• Chỉ số thực vật NDVI
• Luận án tiến sĩ
• Luận án tiến sĩ Kỹ thuật
• Kỹ thuật Điện tử
• Giao thức bảo mật dữ liệu
• Giao thức bảo mật IPSec
• Tóm tắt Luận văn Thạc sĩ
• Truyền thông đa phương tiện
• Dữ liệu đa phương tiện
• Phương pháp truyền dữ liệu đa phương tiện
• Dữ liệu đám đông
• Tai nạn giao thông
• Google Maps API
• Giao thông công cộng
• Ngôn ngữ lập trình Python
• hệ thống giao tác
• khoa học điều khiển
• hệ thống kỹ thuật
• điều khiển học
• nghiên cứu tin học
• Lý thuyết thuật toán
• tự động học
• An ninh – Bảo mật
• Quản trị mạng
• Thủ thuật máy tính
• Phần cứng
• Tin học
• Đồ họa Thiết kế Flash