TAILIEUCHUNG - Bài giảng Học sâu và ứng dụng: Bài 2 - ĐH Bách khoa Hà Nội

Bài giảng Học sâu và ứng dụng: Bài 2 Giới thiệu về mạng nơ-ron, cung cấp cho người học những kiến thức như: Mạng nơ-ron và bộ não; Một số hàm kích hoạt thường gặp; Tầm quan trọng của hàm kích hoạt; Mạng nơ-ron một lớp ẩn, Định lý xấp xỉ tổng quát; Giải thuật lan truyền ngược; .Mời các bạn cùng tham khảo! | 1 Học sâu và ứng dụng IT4653 Bài 2 Giới thiệu về mạng nơ-ron 2 Mạng nơ-ron và bộ não Mạng nơ-ron mô phỏng cấu trúc kết nối của não người Não người tạo bởi nhiều nơ-ron liên kết với nhau 3 Perceptron Bắn xung fire nếu tổng có trọng số của các đầu vào với bias T không âm 4 Perceptron mềm logistic Sử dụng một hàm khả vi thay cho hàm xung Hàm kích hoạt sigmoid được dùng để xấp xỉ hàm xung Hàm kích hoạt là hàm tác động lên tổng có trọng số của các dữ liệu vào 5 Perceptron mềm logistic 6 Một số hàm kích hoạt thường gặp ReLU là lựa chọn mặc định tốt cho nhiều bài toán Hiện nay xu hướng dùng một số hàm kích hoạt hiện đại hơn như ReLU6 swish mish 7 Tầm quan trọng của hàm kích hoạt Mục đích sử dụng hàm kích hoạt là đưa các lớp phi tuyến vào mạng nơ-ron Hàm kích hoạt tuyến tính luôn Các lớp phi tuyến cho phép sinh ra đường phân cách chúng ta xấp xỉ các hàm phức tuyến tính bất kể mạng có lớn tạp cỡ nào 8 Perceptron đơn giản hóa 9 Perceptron đơn giản hóa 10 Perceptron nhiều đầu ra 11 Mạng nơ-ron một lớp ẩn 12 Mạng nơ-ron một lớp ẩn 13 Mạng nơ-ron nhiều lớp 14 Mạng nơ-ron và bộ não Nơ-ron sinh học Mạng nơ-ron nhân tạo Kết nối phức tạp Các nơ-ron tổ chức thành các lớp layers để tăng hiệu quả tính toán nhờ song song hóa 15 Định lý xấp xỉ tổng quát Theorem Universal Function Approximators . Một mạng nơ-ron từ hai lớp trở lên với số lượng nơ-ron đủ lớn có thể xấp xỉ bất kỳ hàm liên tục nào với độ chính xác tùy ý 16 Universal Function Approximation Theorem In words Given any continuous function f x if a 2-layer neural network has enough hidden units then there is a choice of weights that allow it to closely approximate f x . Cybenko G. 1989 . Approximations by superpositions of a sigmoidal function. Mathematics of Control Signals and Systems 2 183-192. Hornik K. 1991 . Approximation capabilities of multilayer feedforward networks. Neural networks 4 2 251-257. Leshno M. Lin V. Y. Pinkus A. amp Schocken S. 1993 . Multilayer feedforward networks with a nonpolynomial activation function

• Cơ sở dữ liệu
• Bài giảng Học sâu và ứng dụng
• Học sâu và ứng dụng
• Mạng nơ ron
• Mạng nơ ron một lớp ẩn
• Thuật lan truyền ngược
• Phần mềm cho học sâu
• Phần cứng cho học sâu
• Đồ thị tính toán động
• Ứng dụng học sâu trong thị giác máy
• Bài toán phát hiện đối tượng
• Thị giác máy
• Xử lý ngôn ngữ tự nhiên
• Ứng dụng học sâu
• Bài toán dịch máy
• Dịch máy thống kê
• Mô hình huấn luyện sẵn
• Nhận dạng thực thể định danh
• Suy diễn logic
• Huấn luyện mạng nơ ron
• Lựa chọn siêu tham số
• Kỹ thuật chống overfitting
• Kỹ thuật học tái sử dụng
• Hàm mục tiêu
• Độ phân giải upsampling
• Bài toán phân đoạn ảnh
• Mạng phân đoạn ảnh tiêu biểu
• Mạng hồi quy
• Lan truyền ngược theo thời gian
• Bài toán dự đoán chuỗi
• Phân lớp văn bản
• Phương pháp học máy truyền thống
• Phân lớp tuyến tính
• Hồi quy tuyến tính
• Conv Neural Networks
• Mạng tích chập
• Lớp tích chập
• Lớp gộp max pooling
• Tiền xử lý dữ liệu
• Hàm kích hoạt
• Khởi tạo trọng số
• Mô hình sinh dữ liệu
• Mô hình tự mã hóa
• Variational Autoencoders
• Biểu diễn không gian ẩn