TAILIEUCHUNG - Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 10 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)

Bài giảng "Xử lý ngôn ngữ tự nhiên - Chương 10: Tóm tắt văn bản" cung cấp cho người học các kiến thức về tóm tắt văn bản, TextRank. Đây là một tài liệu hữu ích dành cho các bạn sinh viên ngành Công nghệ thông tin và những ai quan tâm dùng làm tài liệu học tập và nghiên cứu. | Chương 10 Tóm tắt văn bản Tóm tắt văn bản TextRank IT4772 Xử lý ngôn ngữ tự nhiên Viện CNTT-TT, ĐHBKHN 2 Chương 10 Tóm tắt văn bản Tóm tắt văn bản INFORMATION EXTRACTION ● NATURAL LANGUAGE UNDERSTANDING END-TO-END APPLICATIONS ● NATURAL LANGUAGE GENERATION Y/c – Tóm lược những điểm chính của văn bản – Đảm bảo tính chính xác về ngôn ngữ, th ống nh ất về cấu trúc Dạng đầu ra: – Tóm tắt trích xuất – Tóm lược văn bản DATA + LINGUISTICS + MACHINE LEARNING 3 4 Chương 10 Tóm tắt văn bản Tóm tắt văn bản ● Chương 10 Tóm tắt văn bản Tóm tắt văn bản Các bài toán ● Tóm tắt trích xuất đơn văn b ản: – Tóm tắt đơn văn bản ● Đầu vào: Văn bản gồm N câu – Tóm tắt đa văn bản ● – Tóm tắt đa văn bản hướng truy vấn Đầu ra: Tóm tắt bao gồm K câu 5 Chương 10 Tóm tắt văn bản TextRank ● 6 Chương 10 Tóm tắt văn bản TextRank Pagerank: Xếp hạng các đỉnh trên đ ồ th ị d ựa trên mức độ quan trọng so với các đ ỉnh khác rank(v) = d * 1/N + (1-d) sum rank(u) / O(u) from Wikipedia 7 8 Chương 10 Tóm tắt văn bản TextRank ● Chương 10 Tóm tắt văn bản TextRank Ứng dụng vào tóm tắt văn bản – ● Tính toán độ tương đồng giữa một c ặp câu Xây dựng đồ thị G(V,E) ● ● V: tập các câu trong văn bản E: e(i,j) - mức độ tương đồng của câu i và câu j – Tính pagerank trên G – Lựa chọn K câu có ranking cao nhất 9 10 Chương 10 Tóm tắt văn bản TextRank ● ● Q&A Ưu điểm: – Thuật toán đơn giản, có thể mở rộng cho nhi ều văn bản – Không cần dữ liệu huấn luyện Nhược điểm: – Phụ thuộc vào độ đo tương đồng của cặp câu – Chưa loại bỏ được dư thừa thông tin trong tóm t .

• Kỹ thuật lập trình
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Tóm tắt văn bản
• Trích xuất văn bản
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Phân tích ngữ nghĩa
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học