TAILIEUCHUNG - Bài giảng Xử lý ngôn ngữ tự nhiên: Phản hồi thông tin - Lê Thanh Hương
Bài giảng Xử lý ngôn ngữ tự nhiên: Phản hồi thông tin cung cấp cho người học các kiến thức: Phản hồi thông tin, các hệ thống dựa trên từ khóa, các vấn đề, lấy từ gốc, từ dừng, từ chức năng và từ nội dung,. nội dung chi tiết. | Bài giảng Xử lý ngôn ngữ tự nhiên: Phản hồi thông tin - Lê Thanh Hương Phản hồi thông tin Phản hồi thông tin (Information Phản hồi thông tin Retrieval - IR) là việc tìm các tài liệu phi cấu trúc (thường là văn bản) thỏa điều kiện tìm kiếm từ một kho dữ liệu lớn Lê Thanh Hương (thường được lưu trong máy tính) Bộ môn Hệ thống thông tin Viện CNTT&TT 1 2 Các hệ thống dựa trên từ khóa Các vấn đề tập các từ khóa có khả năng xuất hiện trong Đa nghĩa: 1 từ - n nghĩa tài liệu (vd., JFK, assasination) Các phép toán AND OR: Đồng nghĩa: n từ - 1 nghĩa AND(Kennedy, conspiracy, OR(assasination, murder)) Kích thước: các hệ thống ố IR phải có khả or năng xử lý tập ngữ liệu cỡ ~Gb AND(OR(Kennedy,JFK), OR(conspiracy, plot), Độ phủ: Các hệ thống IR phải có khả năng OR(assasination,assasinated,assasinate,murder, xử lý câu truy vấn thuộc bất kỳ lĩnh vực nào murdered,kill,killed) 3 4 Lấy từ gốc Từ dừng Gắn các thuật ngữ trong câu truy vấn với các Là các từ thường xuất hiện ở hầu hết các biến thể của từ (cùng gốc từ) trong các tài liệu tài liệu. Các từ này không chứa nhiều VD: assassination Æ assassinat thông tin Assassination Assassinations Assassinate Assassinated Không đưa vào file nghịch đảo Æ giảm Assassinating kích thước của file này Vấn đề: Các từ dừng: a, an, the, he, she, of, to, by, Lỗi: organization - organ past - paste should, can, Bỏ qua: analysis - analyzes matrices - matrix 5 6 1 Nhược điểm của việc bỏ từ dừng Từ chức năng và từ nội dung Có thể bỏ tên người như “The” Muốn loại bỏ các từ chức năng hoặc giảm ảnh Các từ dừng có thể là thành phần quan trọng hưởng của nó của đoạn. Ví dụ, 1 câu nói của Shakepeare: Xác định từ nội dung: to be or not to be” “to Nó có xuất hiện thường xuyên không? Một số từ dừng (vd., giới từ) cung cấp các Nó có xuất hiện trong số ít các tài liệu .
đang nạp các trang xem trước
