TAILIEUCHUNG - Sử dụng BERT và meta-path để nâng cao khả năng trả lời cho hệ hỏi đáp

Đọc hiểu tự động có sự hỗ trợ máy tính là một lĩnh vực nghiên cứu ngày càng phát triển trong những năm gần đây và đóng một vai trò quan trọng trong hệ thống hỏi đáp bằng ngôn ngữ tự nhiên. Các tiếp cận xây dựng hệ hỏi đáp hiện nay đã mang đến những kết quả tốt như tiếp cận dựa trên phân tích ngôn ngữ, mạng LSTM và BERT. | Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIV về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin FAIR TP HCM ngày 23-24 12 2021 DOI SỬ DỤNG BERT VÀ META-PATH ĐỂ NÂNG CAO KHẢ NĂNG TRẢ LỜI CHO HỆ HỎI ĐÁP Phan Hồ Viết Trường1 3 Phan Hồng Trung1 2 Đỗ Phúc1 1 Đại học Công nghệ thông tin Đại học Quốc gia Thành phố Hồ Chí Minh 2 Đại học Hoa Sen Thành phố Hồ Chí Minh 3 Đại học Văn Lang Thành phố Hồ Chí Minh phucdo@ trungphansg@ TÓM TẮT Đọc hiểu tự động có sự hỗ trợ máy tính là một lĩnh vực nghiên cứu ngày càng phát triển trong những năm gần đây và đóng một vai trò quan trọng trong hệ thống hỏi đáp bằng ngôn ngữ tự nhiên. Các tiếp cận xây dựng hệ hỏi đáp hiện nay đã mang đến những kết quả tốt như tiếp cận dựa trên phân tích ngôn ngữ mạng LSTM và BERT. Tuy nhiên các tiếp cận này chỉ mới giải quyết vấn đề tìm câu trả lời có trong văn bản cho trước mà chưa giải quyết vấn đề suy luận những câu trả lời không nằm trong văn bản. Bài báo này sử dụng mô hình ngôn ngữ huấn luyện sẵn BERT và đồ thị tri thức KG để giải quyết những hạn chế nêu trên nhằm cải thiện khả năng trả lời của hệ thống hỏi đáp. Cụ thể chúng tôi tập trung nghiên cứu về meta-path của một đồ thị tri thức để rút bộ ba mối quan hệ giữa các thực thể. Giải pháp này kết hợp thông tin dựa trên nội dung và liên kết của các bộ ba trong đồ thị tri thức để giải quyết vấn đề trên. Chúng tôi đã sử dụng meta path để tạo các path instance và mô hình BERT để phân loại các bộ ba theo các mô tả các thành phần trong bộ ba. Phương pháp của chúng tôi đạt độ chính xác trung bình là 93 34 trong khi đó TEKE DistMult có độ chính xác thấp hơn 86 TransSparse AATE DisMult-HRS có độ chính xác từ 86 đến 90 và KG-BERT có độ chính xác là 92 23 . Từ khóa học sâu đồ thị tri thức hệ hỏi đáp meta path BERT. I. GIỚI THIỆU Sử dụng đồ thị tri thức KG để cải thiện hệ thống trả lời câu hỏi là một nghiên cứu tiềm năng trong những năm gần đây và đóng một vai trò quan trọng trong hệ thống Hỏi và

• Cơ sở dữ liệu
• Đồ thị tri thức
• Ngôn ngữ huấn luyện sẵn BERT
• Đồ thị nhúng
• Phân lớp văn bản dựa trên BERT
• Meta path trong mạng HIN
• Đồ thị tri thức mờ
• Đồ thị tri thức mờ dạng cặp
• Suy luận xấp xỉ
• Chẩn đoán bệnh
• Y học cổ truyền
• Trí tuệ nhân tạo
• Bài giảng Trí tuệ nhân tạo
• Thuật giải tô màu đồ thị
• Thuật giải tìm kiếm trên đồ thị
• Biểu diễn tri thức
• Xử lý tri thức
• Chứng minh bất đẳng thức
• Phương pháp so sánh giá trị
• Đồ thị lồi
• Đồ thị lõm
• Số thực không âm
• Bất đẳng thức Schur
• Luận văn Thạc sĩ Giáo dục học
• Dạy học thống kê
• Vấn đề đào tạo giáo viên
• Tri thức đồ thị thống kê
• Yêu cầu dạy học đồ thị thống kê
• Mục đích dạy học đồ thị thống kê
• Giáo án điện tử lớp 3
• Giáo án lớp 3 sách Kết nối tri thức
• Giáo án Tiếng Việt lớp 3 sách Kết nối tri thức
• Giáo án Tiếng Việt 3 tuần 17
• Nghe viết Người làm đồ chơi
• Câu chuyện Cây bút thần
• Mở rộng vốn từ về thành thị
• Giáo án điện tử lớp 10
• Giáo án lớp 10 sách Kết nối tri thức
• Giáo án môn Toán lớp 10
• Giáo án Toán lớp 10 sách Kết nối tri thức
• Giáo án Toán 10 bài 15
• Tập xác định của hàm số
• Đồ thị của hàm số
• Giáo án Toán 10 bài 16
• Hàm số bậc hai
• Đồ thị hàm số bậc hai
• Giáo án môn Vật lí lớp 10
• Giáo án Vật lí lớp 10 sách Kết nối tri thức
• Giáo án Vật lí 10 bài 7
• Đồ thị độ dịch chuyển – thời gian
• Chuyển động thẳng
• Tương đồng ngữ nghĩa văn bản
• Tương đồng xuyên ngữ Anh Việt
• Bài toán xử lý ngôn ngữ tự nhiên
• Phương pháp CL CNG
• Giáo án Khoa học tự nhiên
• Giáo án Khoa học tự nhiên 7
• Khoa học tự nhiên 7 bài 10
• Giáo án điện tử lớp 7
• Vẽ đồ thị quãng đường
• Bài giảng Vật lí 10
• Bài giảng Vật lí 10 bài 7
• Bài giảng điện tử lớp 10
• Đồ thị độ dịch chuyển thời gian
• luận văn tốt nghiệp
• luận văn tin học
• công nghệ tri thức
• xử lý video
• không gian màu
• không gian độ xám
• thuật toán tính lược đồ màu
• lược đồ tương quan màu
• báo cáo thực tập
• khóa luận tốt nghiệp
• đồ án marketing
• thị trường tiếp thị
• giải pháp marketing
• quản trị chiến lược
• marketing ngân hàng
• hình thức trả lương tại Công ty gạch ốp lát Hà nội
• giải pháp phát triển thị trường
• Cách xét vị trí tương đối của tiếp tuyến
• Khái niệm bất đẳng thức
• Kinh nghiệm giảng dạy môn Toán
• Sáng kiến kinh nghiệm môn Toán
• Sáng kiến kinh nghiệm THPT
• Sáng kiến kinh nghiệm
• nguồn thu chủ yếu của người lao động
• bài toán tiếp tuyến
• phương trình tiếp tuyến
• bài toán về cực trị
• hàm số đa thức
• đồ thị hàm số
• Đề án tốt nghiệp
• đồ án môn học
• kinh tế thị trường
• quản trị nhân lực
• hình thức trả công
• nghiệp vụ tiền lương
• Trọng tâm kiến thức hàm số
• Phương pháp giải toán
• Khảo sát hàm số
• Ứng dụng đạo hàm
• Cực trị của hàm số
• Đơn điệu của hàm số
• Tâm đối xứng của đồ thị
• Đề thi tuyển sinh vào lớp 10
• Đề thi lớp 10 môn Toán
• Ôn thi môn Toán 10 năm 2023
• Tính giá trị của biểu thức
• Rút gọn biểu thức
• Vẽ đồ thị hàm số
• Đề thi vào lớp 10 môn Toán
• Đề thi Toán 10 năm 2023
• Ôn thi Toán vào lớp 10
• Giải hệ phương trình
• Vẽ đồ thị của hàm số
• Luận văn Thạc sĩ Toán học
• Định lý giới hạn
• Toán giải tích
• Phương thức hàm sinh
• Bước đi ngẫu nhiên có trí nhớ
• Lý thuyết đồ thị