TAILIEUCHUNG - Bài giảng Xử lý ngôn ngữ tự nhiên: Phân loại văn bản - Lê Thanh Hương

Bài giảng "Xử lý ngôn ngữ tự nhiên: Phân loại văn bản" cung cấp cho người học các kiến thức: Phân loại văn bản, phân nhóm văn bản, cách phân loại, mô hình vector, danh sách quyết định, các đặc trưng ngoài Unigrams,. . | Bài giảng Xử lý ngôn ngữ tự nhiên: Phân loại văn bản - Lê Thanh Hương Phân loại văn bản z Phân loại: (Text Categorization) Phân loại văn bản Đầu vào của bài toán là tập các văn bản đã được phân lớp sẵn, sẵn cho một văn bản Lê Thanh Hương mới vào, ứng dụng phải chỉ ra văn bản đó thuộc chủ đề Bộ môn Hệ thống thông tin nào trong các chủ để ban đầu. Viện CNTT&TT 1 2 Phân nhóm văn bản Tại sao cần PLVB? z Là tiếng Việt? z Phân nhóm: (Text Clustering) Là bài toán cho một tập văn z Lọc tin bản chưa được phân lớp gì z Chuyển hướng cuộc gọi cả ứng dụng phải chia tập cả, văn bản này thành các nhóm z Phân loại thư (cuộc hẹn, công việc, khẩn, dựa trên độ tương đồng giữa bạn bè, thư rác, ) chúng. 4 Đo độ chính xác Đo độ chính xác Precision vs. Recall of Good (non-spam) Email z Precision = Precision vs. Recall of OK for search các thư được giữ (đúng) Good (non-spam) Email engines (maybe) 100% tất cả các thư giữ high threshold: would prefer cision 75% 100% all we keep is good, to be here! Precision n 50% but we don don’tt keep much Prec zR Recallll = 75% 25% các thư được giữ (đúng) 0% 0% 25% 50% 75% 100% các thư đúng 50% point where low threshold: Recall precision=recall keep all the good stuff, 25% (often reported) but a lot of the bad too OK for spam 0% filtering and 0% 25% 50% 75% 100% legal search 5 Recall 6 1 Các trường hợp đo độ chính xác phức Cách phân loại tạp hơn z Phân lớp nhiều lớp Subject: would you like to . . . . {Độ chính xác trung bình ( hoặc precision hoặc recall) . . drive a new vehicle for free ? ? ? this is not hype or a hoax , there are hundreds of people driving brand new cars , của các phân lớp 2 lớp: thể thao hoặc không, tin tức suvs , minivans , trucks , or rvs . it does not matter to us hoặc không what type of vehicle you choose . if you qualify for our {Tốt hơn,

• Kỹ thuật lập trình
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Phân loại văn bản
• Phân loại văn bản
• Cách phân loại
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Phân tích ngữ nghĩa
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Lexical chain
• Phản hồi thông tin
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học