TAILIEUCHUNG - Bài giảng Xử lý ngôn ngữ tự nhiên (Natural language processing): Bài 4 - Viện Công nghệ Thông tin và Truyền thông

Bài giảng Xử lý ngôn ngữ tự nhiên (Natural language processing): Bài 4 cung cấp cho học viên những nội dung về: gán nhãn từ loại; tập từ loại tiếng Anh; lớp từ mở trong tiếng Anh; tập nhãn cho tiếng Anh; các phương pháp gán nhãn từ loại; gán nhãn dựa trên xác suất; . Mời các bạn cùng tham khảo chi tiết nội dung bài giảng! | Gán nhãn từ loại Viện Công nghệ Thông tin và Truyền thông 1 Định nghĩa Gán nhãn từ loại Part of Speech tagging - POS tagging mỗi từ trong câu được gán nhãn thẻ từ loại tương ứng của nó Vào 1 đoạn văn bản đã tách từ tập nhãn Ra cách gán nhãn chính xác nhất Ví dụ 1 Ví dụ 2 Ví dụ 3 Ví dụ 4 Ví dụ 5 Gán nhãn làm cho việc phân tích văn bản dễ dàng hơn 2 Tại sao cần gán nhãn Dễ thực hiện có thể thực hiện bằng nhiều phương pháp khác nhau Các phương pháp sử dụng ngữ cảnh có thể đem lại kết quả tốt Mặc dù nên thực hiện bằng phân tích văn bản Các ứng dụng Text-to-speech record - N reko d V ri ko d lead N led V li d Tiền xử lý cho PTCP. PTCP thực hiện việc gán nhãn tốt hơn nhưng đắt hơn Nhận dạng tiếng nói PTCP tìm kiếm Dễ đánh giá có bao nhiêu thẻ được gán nhãn đúng 3 Tập từ loại tiếng Anh Lớp đóng các từ chức năng số lượng cố định Giới từ Prepositions on under over Tiểu từ Particles abroad about around before in instead since without Mạo từ Articles a an the Liên từ Conjunctions and or but that Đại từ Pronouns you me I your what who Trợ động từ Auxiliary verbs can will may should Lớp mở có thể có thêm từ mới 4 Lớp từ mở trong tiếng Anh Proper nouns IBM Colorado nouns count nouns book ticket common nouns mass nouns snow salt auxiliaries verbs . open class Color red white adjectives Age old young Value good bad Locatives adverbs home here downhill Degree adverbs extremely very somewhat adverbs Manner adverbs slowly delicately Temporal adverbs yesterday Monday 5 Tập nhãn cho tiếng Anh tập ngữ liệu Brown 87 nhãn 3 tập thường được sử dụng Nhỏ 45 nhãn - Penn treebank slide sau Trung bình 61 nhãn British national corpus Lớn 146 nhãn C7 6 7 I know that blocks the sun. He always books the violin concert tickets early. He says that book is interesting. 8 Penn Treebank ví dụ The grand jury commented on a number of other topics. The DT grand JJ jury NN commented VBD on IN a DT number NN of IN other JJ topics NNS . . 9 Khó khăn trong gán nhãn từ loại là xử lý nhập nhằng 10 Các .

• Kỹ thuật lập trình
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Natural language processing
• Gán nhãn từ loại
• Phương pháp gán nhãn từ loại
• Gán nhãn dựa trên xác suất
• Công thức Bigram HMM
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Phân tích ngữ nghĩa
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học