TAILIEUCHUNG - Bài giảng Học sâu và ứng dụng: Bài 5 - ĐH Bách khoa Hà Nội

Bài giảng Học sâu và ứng dụng: Bài 5 Huấn luyện mạng nơ-ron, cung cấp cho người học những kiến thức như: Các giải thuật tối ưu cho mạng nơ-ron; Chiến lược thay đổi tốc độ học; Một số kỹ thuật chống overfitting; Làm giàu dữ liệu (data augmentation); Lựa chọn siêu tham số; Kỹ thuật kết hợp nhiều mô hình (ensemble); Kỹ thuật học tái sử dụng (transfer learning). Mời các bạn cùng tham khảo! | Bài 5 Huấn luyện mạng nơ-ron Phần 2 1 Nội dung Các giải thuật tối ưu cho mạng nơ-ron Chiến lược thay đổi tốc độ học Một số kỹ thuật chống overfitting Làm giàu dữ liệu data augmentation Lựa chọn siêu tham số Kỹ thuật kết hợp nhiều mô hình ensemble Kỹ thuật học tái sử dụng transfer learning 2 Các giải thuật tối ưu 3 Phương pháp SGD 4 Vấn đề với SGD Điều gì sẽ xảy ra khi hàm mục tiêu thay đổi nhanh theo một chiều và thay đổi chậm theo chiều khác Khi đó SGD sẽ làm việc như thế nào Hàm mục tiêu có số điều kiện lớn tỉ lệ giữa giá trị riêng lớn nhất và giá trị riêng nhỏ nhất của ma trận Hessian là lớn. 5 Vấn đề với SGD Điều gì sẽ xảy ra khi hàm mục tiêu thay đổi nhanh theo một chiều và thay đổi chậm theo chiều khác Khi đó SGD sẽ làm việc như thế nào Thuật toán hội tụ rất chậm nhảy từ bên này qua bên kia bề mặt hàm mục tiêu Hàm mục tiêu có số điều kiện lớn tỉ lệ giữa giá trị riêng lớn nhất và giá trị riêng nhỏ nhất của ma trận Hessian là lớn. 6 Vấn đề với SGD Chuyện gì xảy ra nếu hàm mục tiêu có cực tiểu địa phương hoặc điểm yên ngựa saddle point 7 Vấn đề với SGD Chuyện gì xảy ra nếu hàm mục tiêu có cực tiểu địa phương hoặc điểm yên ngựa saddle point Gradient bằng 0 thuật toán SGD bị tắc Điểm yên ngựa thường xuất hiện với các hàm mục tiêu nhiều biến 8 Vấn đề với SGD SGD xấp xỉ gradient theo từng lô dữ liệu nên thường rất nhiễu 9 SGD momentum Xây dựng đại lượng vận tốc bằng trung bình dịch chuyển của gradients Lực ma sát rho thường bằng hoặc . Tại thời điểm ban đầu rho có thể thấp hơn do hướng di chuyển chưa rõ ràng ví dụ rho 10 SGD momentum SGD momentum có thể phát biểu theo nhiều cách khác nhau nhưng chúng tương đương nhau và đều đưa ra cùng một dãy x 11 SGD momentum 12 Nesterov Momentum 13 Nesterov Momentum Thường người ta muốn tính theo Đặt và chuyển về 14 AdaGrad Mỗi trọng số có tốc độ học riêng Per-parameter learning rates hoặc adaptive learning rates Tốc độ học của mỗi trọng số tỉ lệ nghịch với tổng bình phương độ lớn đạo hàm riêng của hàm mục tiêu đối .

• Cơ sở dữ liệu
• Bài giảng Học sâu và ứng dụng
• Học sâu và ứng dụng
• Huấn luyện mạng nơ ron
• Lựa chọn siêu tham số
• Kỹ thuật chống overfitting
• Kỹ thuật học tái sử dụng
• Phần mềm cho học sâu
• Phần cứng cho học sâu
• Đồ thị tính toán động
• Ứng dụng học sâu trong thị giác máy
• Bài toán phát hiện đối tượng
• Thị giác máy
• Xử lý ngôn ngữ tự nhiên
• Ứng dụng học sâu
• Bài toán dịch máy
• Dịch máy thống kê
• Mô hình huấn luyện sẵn
• Nhận dạng thực thể định danh
• Suy diễn logic
• Hàm mục tiêu
• Độ phân giải upsampling
• Bài toán phân đoạn ảnh
• Mạng phân đoạn ảnh tiêu biểu
• Mạng hồi quy
• Lan truyền ngược theo thời gian
• Bài toán dự đoán chuỗi
• Phân lớp văn bản
• Phương pháp học máy truyền thống
• Phân lớp tuyến tính
• Hồi quy tuyến tính
• Mạng nơ ron
• Mạng nơ ron một lớp ẩn
• Thuật lan truyền ngược
• Conv Neural Networks
• Mạng tích chập
• Lớp tích chập
• Lớp gộp max pooling
• Tiền xử lý dữ liệu
• Hàm kích hoạt
• Khởi tạo trọng số
• Mô hình sinh dữ liệu
• Mô hình tự mã hóa
• Variational Autoencoders
• Biểu diễn không gian ẩn