TAILIEUCHUNG - Bài giảng Học sâu và ứng dụng: Bài 9 - ĐH Bách khoa Hà Nội

Bài giảng Học sâu và ứng dụng: Bài 9 Mạng hồi quy, cung cấp cho người học những kiến thức như: Bài toán dự đoán chuỗi; Mạng hồi quy thông thường; Lan truyền ngược theo thời gian (BPTT); Mạng LSTM và GRU; Một số áp dụng. Mời các bạn cùng tham khảo! | 1 Bài 9 Mạng hồi quy 2 Nội dung Bài toán dự đoán chuỗi Mạng hồi quy thông thường Lan truyền ngược theo thời gian BPTT Mạng LSTM và GRU Một số áp dụng 3 Bài toán dự đoán chuỗi 4 Bài toán dự đoán chuỗi Trước giờ ta chỉ tập trung vào vấn đề dự đoán với đầu vào và đầu ra kích thước cố định Chuyện gì sẽ xảy ra nếu đầu vào và đầu ra là một chuỗi có kích thước thay đổi 5 Phân lớp văn bản Phân loại sắc thái sentiment phân loại bình luận một nhà hàng hay một bộ phim hay một sản phẩm là tích cực hay tiêu cực The food was really good - Thức ăn rất ngon Máy hút bụi bị hỏng trong vòng hai tuần Bộ phim có những phần buồn tẻ nhưng tổng thể là rất đáng xem Cần dùng đặc trưng gì và mô hình phân loại gì để giải quyết bài toán này 6 Phân loại sắc thái The food was really good Classifier Trạng thái ẩn Memory h5 Context h1 h2 h3 h4 The food was really good Recurrent Neural Network RNN 7 Mô hình ngôn ngữ 8 Mô hình ngôn ngữ Character RNN 9 Image source Character RNN Kí tự đầu ra yi Lớp đầu ra biến đổi tuyến tính quot softmax amp amp amp ℎ Trạng thái ẩn hi Mã hóa One-hot xi Ký tự đầu vào 10 Sinh mô tả bức ảnh Cho một bức ảnh cần sinh ra một câu mô tả nội dung bức ảnh The dog is hiding 11 Sinh mô tả bức ảnh The dog is hiding STOP Bộ phân loại Bộ phân loại Bộ phân loại Bộ phân loại Bộ phân loại h1 h2 h3 h4 h5 h0 h1 h2 h3 h4 CNN START The dog is hiding 12 Dịch máy https 13 Dịch máy Nhiều đầu vào nhiều đầu ra hay còn gọi là sequence to sequence Matches Nature is Correspondances La nature 14 Tổng hợp các loại dự đoán Phân Sinh mô Phân Phân loại Dịch máy video lớp tả ảnh loại sắc mức ảnh thái câu frame 15 Mạng hồi quy thông thường 16 Mạng hồi quy Recurrent Neural Network RNN Đầu ra tại thời điểm t yt Bộ phân loại Hồi quy Trạng thái ẩn tại thời điểm t ht ℎ quot ℎ new function input at old Lớp ẩn state of W time t state Dữ liệu vào tại thời điểm t xt 17 Duỗi unroll RNN y3 y2 Bộ phân loại y1 h3 Bộ phân loại h3 h2 Lớp ẩn Bộ phân loại h2 h1 h1 Lớp ẩn x3 Lớp ẩn t 3 x2 h0 t 2 x1

• Cơ sở dữ liệu
• Bài giảng Học sâu và ứng dụng
• Học sâu và ứng dụng
• Mạng hồi quy
• Lan truyền ngược theo thời gian
• Bài toán dự đoán chuỗi
• Phân lớp văn bản
• Phần mềm cho học sâu
• Phần cứng cho học sâu
• Đồ thị tính toán động
• Ứng dụng học sâu trong thị giác máy
• Bài toán phát hiện đối tượng
• Thị giác máy
• Xử lý ngôn ngữ tự nhiên
• Ứng dụng học sâu
• Bài toán dịch máy
• Dịch máy thống kê
• Mô hình huấn luyện sẵn
• Nhận dạng thực thể định danh
• Suy diễn logic
• Huấn luyện mạng nơ ron
• Lựa chọn siêu tham số
• Kỹ thuật chống overfitting
• Kỹ thuật học tái sử dụng
• Hàm mục tiêu
• Độ phân giải upsampling
• Bài toán phân đoạn ảnh
• Mạng phân đoạn ảnh tiêu biểu
• Phương pháp học máy truyền thống
• Phân lớp tuyến tính
• Hồi quy tuyến tính
• Mạng nơ ron
• Mạng nơ ron một lớp ẩn
• Thuật lan truyền ngược
• Conv Neural Networks
• Mạng tích chập
• Lớp tích chập
• Lớp gộp max pooling
• Tiền xử lý dữ liệu
• Hàm kích hoạt
• Khởi tạo trọng số
• Mô hình sinh dữ liệu
• Mô hình tự mã hóa
• Variational Autoencoders
• Biểu diễn không gian ẩn