TAILIEUCHUNG - Bài giảng Xử lý ngôn ngữ tự nhiên: Phân lớp văn bản tiếng Việt theo hướng tiếp cận lexical chain - Lê Thanh Hương

Bài giảng Xử lý ngôn ngữ tự nhiên: Phân lớp văn bản tiếng Việt theo hướng tiếp cận lexical chain trình bày tổng quan về bài toán tổng quan về bài toán phân lớp văn bản, tiếp cận bài toán phân lớp tiếp cận bài toán phân lớp văn bản tiếng Việt theo hướng lexical chain. . | Bài giảng Xử lý ngôn ngữ tự nhiên: Phân lớp văn bản tiếng Việt theo hướng tiếp cận lexical chain - Lê Thanh Hương 4/21/2011 PHẦN I: PHÂN LỚP VĂN BẢN TIẾNG VIỆT THEO HƯỚNG TIẾP CẬN LEXICAL CHAIN TỔNG QUAN VỀ BÀI TOÁN PHÂN LỚP VĂN BẢN Các phương pháp biểu diễn văn bản Các phương pháp biểu diễn văn bản Mô hình tần số kết hợp TF x IDF Mô hình vector Xét: Văn bản = 1 vector n chiều + trọng số cho mỗi giá trị của nó Tập dữ liệu gồm m văn bản: D = {d1, d2, dm}. Mô hình vector thưa Mỗi văn bản biểu diễn dưới dạng ạ g mộtộ vector ggồm n thuậtậ sốố từ với ới ttrọng số ố khác khá 0 nhỏ hỏ hơn h rất ất nhiều hiề so với ới số ố từ có ó ngữ T = {t1, t2, tn}. trong Cơ sở dữ liệu fij là số lần xuất hiện của thuật ngữ ti trong văn bản dj m là số lượng văn bản hi là số văn bản mà thuật ngữ ti xuất hiện Gọi W = {wij } là ma trận trọng số, trong đó wij là giá trị trọng số của thuật ngữ ti trong văn bản dj Các phương pháp biểu diễn văn bản Các phương pháp biểu diễn văn bản (tt) Mô hình Lexical Chain: Ma trận trọng số TFxIDF được tính như sau: “Lexical Chain” là một khái niệm nhằm duy trì tính cố kết giữa các từ trong văn bản có mối liên quan với nhau về mặt ngữ nghĩa g ⎧ ⎛m⎞ Một số loại quan hệ về ngữ nghĩa giữa các từ: ⎪[1 + log( f ij )] log⎜⎜ ⎟⎟ nÕu hij ≥ 1 Lặp lại (Repeatation) wij = ⎨ ⎝ hi ⎠ Đồng nghĩa (synonyms ) ⎪ Trái nghĩa () ⎩0 nÕu ng−îc l¹i Bộ phận-Toàn thể (hypernyms, hyponyms ) Ví dụ : C1= {kinh tế, thương mại, lĩnh vực, vốn, thị trường} 1 4/21/2011 Các thuật toán giải quyết bài toán Phân lớp văn bản Thuật toán Cây quyết định Thuật toán cây quyết định. Cây quyết định gồm các nút quyết định, các nhánh và lá : Mỗi lá gắn với một nhãn lớp, Thuật toán k-NN. Mỗi nút quyết định mô tả một phép thử X nào đó, Thuật toán Lexical Chain. Mỗi nhánh của nút .

• Kỹ thuật lập trình
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Phân lớp văn bản tiếng Việt
• Tiếp cận lexical chain
• Bài toán phân lớp văn bản
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Phân tích ngữ nghĩa
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học