TAILIEUCHUNG - Ảnh hưởng của hàm kích hoạt đến mô hình mạng nơron tích chập

Bài viết đề cập đến tầm quan trọng của việc lựa chọn hàm kích hoạt phù hợp khi huấn luyện CNN. Chúng tôi so sánh các hàm kích hoạt cơ bản và các hàm kích hoạt được đề xuất trong một số nghiên cứu gần đây. | Ảnh hưởng của hàm kích hoạt đến mô hình mạng nơron tích chập ẢNH HƯỞNG CỦA HÀM KÍCH HOẠT ĐẾN MÔ HÌNH MẠNG NƠRON TÍCH CHẬP VĨNH ANH NGHIÊM QUÂN, NGUYỄN LÊ TRUNG THÀNH ĐINH THỊ DIỆU MINH, TRẦN HOÀI NHÂN Khoa Tin học, Trường Đại học Sư phạm, Đại học Huế Tóm tắt: Mạng nơron tích chập (CNN) ngày càng được sử dụng phổ biến trong xử lý hình ảnh nói chung và phân lớp hình ảnh nói riêng. Để cải thiện hiệu năng của mạng, việc tinh chỉnh các siêu tham số (hyper-parameters) là cần thiết. Trong bài báo này, chúng tôi đề cập đến tầm quan trọng của việc lựa chọn hàm kích hoạt phù hợp khi huấn luyện CNN. Chúng tôi so sánh các hàm kích hoạt cơ bản và các hàm kích hoạt được đề xuất trong một số nghiên cứu gần đây. Để đánh giá mức ảnh hưởng của chúng đến hiệu năng của CNN, chúng tôi tiến hành các thí nghiệm với hai mô hình, một đơn giản một phức tạp lần lượt trên hai tập dữ liệu hình ảnh phổ biến MNIST và CIFAR-10. Cách thức tiến hành thực nghiệm và các tiêu chí đánh giá được tham khảo dựa trên DAWNBench với một số thay đổi nhỏ. Kết quả cho thấy hàm kích hoạt ReLU và các biến thể của nó đem lại độ chính xác cao sớm hơn các dạng hàm kích hoạt khác, mặc dù ưu thế về tổng thời gian huấn luyện là không đáng kể. Từ khóa: CNN, hàm kích hoạt. 1. MỞ ĐẦU Hiện nay, phương pháp học sâu (deep learning) là một trong những phương pháp nhận được nhiều sự quan tâm từ cộng đồng nghiên cứu về học máy (machine learning). Tuy học sâu không đồng nghĩa với mạng nơron nhân tạo (artificial neural networks – ANN) nhưng khi nhắc đến thuật toán học sâu, người ta chủ yếu quan tâm đến các mạng nơron nhân tạo được triển khai trên diện rộng, đặc biệt là trong các bài toán về nhận dạng hình ảnh. Kể từ năm 2012, sau thành công của mạng nơron tích chập (convolutional neural networks – CNN) trong các cuộc thi nhận dạng hình ảnh diện rộng, các mô hình mạng này ngày càng được nâng cấp để giải quyết các bài toán ngày một phức tạp hơn. Ngoài các hàm kích hoạt .

• Cơ khí - Chế tạo máy
• Hàm kích hoạt
• Mạng nơron tích chập
• Huấn luyện CNN
• Phương pháp học sâu
• Hàm Leaky ReLU
• Phân tích hạt nhân
• Phương pháp phân tích hạt nhân
• Phương pháp phân tích kích hoạt
• Phương pháp xác định hàm lượng
• Quy trình phân tích kích hoạt
• Phân tích kích hoạt gamma tức thời
• Công nghệ hóa
• Hàm lượng Cd
• Hàm lượng Cu
• Kích hoạt nơtron
• Xử lý hóa
• Hóa phân tích
• Xác định hàm lượng nguyên tố trong máu
• Phương pháp phân tích kích hoạt neutron
• Lò phản ứng hạt nhân Đà Lạt
• Phương pháp k zero
• Lò phản ứng
• Luận văn Thạc sĩ
• Luận văn Thạc sĩ Toán học
• Toán ứng dụng
• Phương trình mạng nơ ron phân thứ
• Hàm kích hoạt tổng quát
• Siêu phân giải
• Xử lý ảnh
• Chùm kích hoạt Gausian
• Chùm kích hoạt vành
• Phát xạ huỳnh quang
• Sự đồng bộ hóa trong mạng lưới
• Hai hệ phương trình Fitzhugh nagumo
• Dòng điện kích hoạt từ bên ngoài
• Hàm số Lyapunov
• Số mũ Lyapunov
• Phân tích kích hoạt
• Trùng phùng gamma gamma
• Hàm lượng selenium
• Xác định hàm lượng selenium
• Phân tích selenium
• Nghiên cứu số liệu hạt nhân
• Kích hoạt nơtron gamma
• Kênh neutron nhiệt
• Phản ứng hạt nhân
• Hàm lượng nguyên tố vết
• Hệ thiết bị PGNAA
• Mạng nơron nhân tạo
• Bài giảng Mạng nơron
• Xử lý tín hiệu
• Phân loại mạng nơron
• Thiết lập trọng số
• Chế độ đo trùng phùng
• Số liệu hạt nhân
• Hàm lượng selenium trong mẫu smell
• Phương pháp đo đơn sử dụng một detector
• Thông số trật tự gần
• Độ dài bước nhảy khuếch tán
• Năng lượng kích hoạt
• Thừa số có dạng hàm mũ
• Hệ số khuếch tán
• Công nghệ nhiệt đới
• Thực vật thuộc họ Amaranthaceae
• Côn trùng ecdysteroids
• Kích hoạt alpha amylase
• Lá cây Podocarpus nakai
• Bài giảng Học sâu và ứng dụng
• Học sâu và ứng dụng
• Huấn luyện mạng nơ ron
• Tiền xử lý dữ liệu
• Khởi tạo trọng số
• Bài giảng Khai phá web
• Khai phá web
• Mạng nơ ron tiến
• Mạng nơ ron nhân tạo
• Hàm kích hoạt sigmoid
• Kiến trúc mạng ANN
• Thuật toán suy giảm gradient