TAILIEUCHUNG - Đánh giá độ khó của văn bản tiếng Việt sử dụng mô hình tiền huấn luyện kết hợp với các đặc trưng ngôn ngữ

Nội dung của bài viết này được trình bày theo bố cục như sau: Phần I giới thiệu chung. Phần II giới thiệu các công trình liên quan đến đánh giá độ khó văn bản. Phần III trình bày các phương pháp chúng tôi đề xuất. Phần IV nói về cách thu thập ngữ liệu. Phần V là thực nghiệm và kết quả. Cuối cùng phần VI kết luận lại vấn đề và hướng đi trong tương lai. | Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIV về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin FAIR TP. HCM ngày 23-24 12 2021 DOI ĐÁNH GIÁ ĐỘ KHÓ CỦA VĂN BẢN TIẾNG VIỆT SỬ DỤNG MÔ HÌNH TIỀN HUẤN LUYỆN KẾT HỢP VỚI CÁC ĐẶC TRƯNG NGÔN NGỮ Lương An Vinh1 2 3 Phan Thanh Quan1 2 Huỳnh Trọng Hùng1 2 1 Trung tâm Ngôn ngữ học Tính toán Trường Đại học Khoa học Tự nhiên Đại học Quốc gia TP. Hồ Chí Minh 2 Đại học Quốc gia TP. Hồ Chí Minh 3 Đại học Công nghệ Sài Gòn anvinhluong@ 1712686@ 1712471@ TÓM TẮT Đánh giá độ khó của văn bản là bài toán xác định mức độ phù hợp của văn bản với khả năng đọc hiểu của một nhóm đối tượng người đọc. Vì vậy việc xác định được độ khó của văn bản có ảnh hưởng lớn đến việc lựa chọn các văn bản phù hợp với lứa tuổi trình độ của độc giả cũng như việc soạn thảo các bài giảng trong sách giáo khoa sao cho phù hợp trình độ học sinh. Đã có nhiều nghiên cứu đạt thành tựu về đánh giá độ khó của văn bản trong tiếng Anh và một số ngôn ngữ phổ biến khác. Tuy nhiên trong tiếng Việt việc nghiên cứu độ khó văn bản còn mới mẻ và chủ yếu tập trung vào việc tìm hiểu những đặc trưng ngôn ngữ bằng các mô hình học máy thống kê. Trong nghiên cứu này chúng tôi muốn áp dụng một phương pháp tiếp cận mới đó là sử dụng mô hình học sâu tiền huấn luyện kết hợp với một số đặc trưng ngôn ngữ tiếng Việt. Mô hình học sâu chúng tôi dùng là BERT và RoBERTa sử dụng mô hình tiền huấn luyện có sẵn của PhoBERT kết quả thu được sẽ được dùng để tiếp tục huấn luyện. Các đặc trưng ngôn ngữ như số lượng câu từ ký tự độ dài trung bình của câu tỷ lệ từ địa phương sẽ được thêm vào mô hình trước khi cho ra kết quả phân lớp. Thực nghiệm đánh giá trên bộ ngữ liệu được thu thập từ sách giáo khoa Văn học Sinh học và Giáo dục công dân của học sinh Việt Nam. Kết quả của phương pháp mới cho thấy mô hình dự đoán đạt độ chính xác cao và có sự cải tiến so với các mô hình học máy thống kê. Tuy nhiên việc thêm vào các đặc trưng ngôn

• Cơ sở dữ liệu
• Mô hình học sâu
• Đặc trưng ngôn ngữ
• Mô hình học máy thống kê
• Mô hình BERT
• Bài toán xử lý ngôn ngữ tự nhiên
• Mô hình xác định giai đoạn sinh trưởng
• Cây dưa lưới trồng trong nhà màng
• Nông nghiệp thông minh
• Thị giác máy tính
• Hệ thống phát hiện phương tiện giao thông
• Nhận diện phương tiện giao thông
• Mô hình học sâu YOLO3
• Ngôn ngữ lập trình
• Mô hình mạng học sâu YOLO
• Khóa luận tốt nghiệp
• Mạng máy tính và truyền thông
• Ứng dụng phát hiện lửa
• Mô hình học sâu trên Jetson Nano
• Thuật toán học sâu
• Mô hình Deep Learning
• Thiết bị nhúng Jetson Nano
• Phân loại ảnh
• Mô hình CNN nhẹ
• Sâu bệnh trên lúa
• Chất lượng lúa thu hoạch
• Luận văn Thạc sĩ
• Luận văn Thạc sĩ Quản lý thông tin
• Quản lý thông tin
• Công nghệ thông tin
• Kĩ thuật lọc cộng tác
• Mô hình hệ thống khuyến nghị thương mại
• Bài giảng Học sâu và ứng dụng
• Học sâu và ứng dụng
• Mô hình sinh dữ liệu
• Mô hình tự mã hóa
• Variational Autoencoders
• Biểu diễn không gian ẩn
• Tạp chí Khoa học và Công nghệ Biển
• Mô phỏng kịch bản sóng thần cực đại
• Vùng nguồn máng biển sâu manila
• Mô hình comcot
• Mô phỏng quá trình ngập lụt
• Ứng dụng kỹ thuật xử lý ảnh
• Mô hình mạng học sâu
• Dạng hoa quả xuất khẩu
• Mạng noron tích chập sâu
• Phân loại cà chua xuất khẩu
• Kỷ yếu Hội thảo khoa học
• Hội thảo khoa học về Cơ khí động lực
• Tường vây hố đào sâu
• Phân tích ứng xử tường vây hố đào sâu
• Bài toán địa kỹ thuật
• Mô hình Mohr Coulomb
• Tái nhận dạng phương tiện giao thông
• Đặc trưng học sâu
• Kết hợp đặc trưng học sâu
• Bộ dữ liệu VeRi 776
• Mô hình học sâu Vcolor
• Xử lý ngôn ngữ tự nhiên
• Ứng dụng học sâu
• Mô hình huấn luyện sẵn
• Nhận dạng thực thể định danh
• Suy diễn logic
• Riêng tư dữ liệu
• Bảo mật dữ liệu
• Dữ liệu trong học sâu
• Phương pháp học sâu
• Biện pháp an toàn thông tin
• Rủi ro vi phạm riêng tư dữ liệu
• Trí tuệ nhân tạo
• Phân tích trực tiếp
• Kết cấu giàn
• Ước lượng khả năng chịu tải
• Giàn phi tuyến
• Xây dựng mô hình học sâu
• Luận án Tiến sĩ
• Luận án Tiến sĩ Kỹ thuật
• Hệ thống thông tin
• Mô hình phát hiện bất thường mạng
• Phương pháp học sâu NAD tiêu biểu
• Mô hình NAD
• Khoá luận tốt nghiệp Đại học
• Khóa luận tốt nghiệp ngành Lâm nghiệp
• Kỹ thuật Lâm sinh
• Mô hình vườn thực vật
• Tình hình sâu bệnh hại
• Viễn thám khoa học
• Nghiên cứu quặng đới sâu
• Dự báo tiềm năng khoáng sản
• Mô hình hóa cấu trúc ẩn sâu
• Nghiên cứu tài nguyên quặng mỏ
• Tài nguyên quặng mỏ
• Nhận dạng 26 bậc tự do của bàn tay
• Nhận dạng 26 bậc tự do
• Phương pháp mô hình với ảnh màu – độ sâu
• Phương pháp mô hình
• 26 bậc tự do
• Cấu trúc giải phẫu học
• Ma trận đồ họa
• Bảo quản lạnh sâu
• Ghép tự thân
• Đặc điểm dịch tễ
• Labo bảo quản mô Đai học Y Hà Nội
• Bảo quản lạnh sâu mảnh xương sọ
• Tình hình bảo quản và ghép lại mảnh xương sọ
• Sâu bệnh hại thuộc họ Long não
• Khóa luận tốt nghiệp ngành Thú y
• Sâu bệnh hại cây bản địa
• Phân loại hình ảnh
• Phân loại người đi bộ
• Mô hình phát hiện đối tượng YOLO
• Mô hình VGG
• Hội thảo khoa học về Thương mại
• Mạng nơ ron tích chập
• Công nghệ học sâu
• Phân loại rác thải
• Mô hình phân loại rác thải tự động
• Kỹ thuật học sâu
• Hiệu năng của Noma CRN
• Ứng dụng kỹ thuật học sâu
• Mô hình NOMA CRN
• Tạp chí Khoa học Công nghệ Thực phẩm