TAILIEUCHUNG - Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 8 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)
Bài giảng "Xử lý ngôn ngữ tự nhiên - Chương 8: Trích rút thông tin" cung cấp cho người học các kiến thức: Trích rút thuật ngữ, trích rút quan hệ, phương pháp Snowball, phương pháp hướng dẫn từ xa. . | Chương 8 Trích rút thông tin Trích rút thuật ngữ Trích rút quan hệ Phương pháp Snowball IT4772 Xử lý ngôn ngữ tự nhiên Viện CNTT-TT, ĐHBKHN Phương pháp hướng dẫn từ xa 2 Chương 8 Trích rút thông tin Trích rút thuật ngữ INFORMATION EXTRACTION ● NATURAL LANGUAGE UNDERSTANDING END-TO-END APPLICATIONS ● Làm sao biết “trí tuệ nhân t ạo” là thu ật ng ữ trong lĩnh vực CNTT? Làm sao trích rút các thuật ngữ từ một tập văn bản trong lĩnh vực CNTT? NATURAL LANGUAGE GENERATION DATA + LINGUISTICS + MACHINE LEARNING 3 4 Chương 8 Trích rút thông tin Trích rút thuật ngữ Tạo ứng cử viên Chương 8 Trích rút thông tin Trích rút thuật ngữ ● B1: Tạo các tập ứng cử viên ● B2: Xếp hạng các ứng cử viên ● ● Tiền xử lý: – Tách từ – Loại bỏ từ dừng Tạo ứng cử viên – Cách 1: sử dụng n-gram (n = 2, 3, 4) – Cách 2: Sử dụng thông tin cú pháp ● ● ● Từ loại Cụm danh từ Mẫu ngôn ngữ (vd N A, N N) 5 Chương 8 Trích rút thông tin Trích rút thuật ngữ Xếp hạng ứng cử viên ● PMI(w1, w2) = log (p(w1, w2) / (p(w1) * p(w2)) ● p(w1, w2) = count(w1,w2) / D ● p(w1) = count(w1) / N 6 Chương 8 Trích rút thông tin Trích rút quan hệ Nam châm phát-hành bao-gồm Bức tường thành-viên Người mộng-du giáo-dục Trần Lập ĐHXD nơi sinh địa-điểm Hà Nội 7 quốc-tịch thủ-đô 8 Chương 8 Trích rút thông tin Trích rút quan hệ ● Chương 8 Trích rút thông tin Trích rút quan hệ Thực thể có tên ● Quan hệ (arg1, relation, arg2) PERSON: POLITICIAN, SCIENTIST, MUSICIAN (Bức Tường, phát hành, Nam châm) PRODUCT: MOVIE, SONG, BRAND (Hà Nội, thủ đô của, Việt Nam) ORG: CORP, PARTY, GPE 9 Chương 8 Trích rút thông tin Trích rút quan hệ Snowball ● 10 Chương 8 Trích rút thông tin Trích rút quan hệ Snowball B1: Cung cấp các ví dụ khởi đầu ● B2: Tìm sự xuất hiện trong văn b ản “computer servers at Microsoft’s headquarters in Redmond” 11 12 Chương 8 Trích rút thông tin Trích rút quan hệ Snowball ● Chương 8 Trích rút thông tin Trích rút quan hệ Snowball B3: Xây dựng .
đang nạp các trang xem trước
