TAILIEUCHUNG - Bài giảng Xử lý ngôn ngữ tự nhiên: Tách từ tiếng Việt - Lê Thanh Hương
Bài giảng "Xử lý ngôn ngữ tự nhiên: Tách từ tiếng Việt" trình bày các nội dung: Tác từ, từ vựng, qui tắc cấu tạo từ tiếng Việt, các hướng tiếp cận, biểu thức chính qui, Automat hữu hạn. nội dung chi tiết. | Bài giảng Xử lý ngôn ngữ tự nhiên: Tách từ tiếng Việt - Lê Thanh Hương Tách từ Tách từ tiếng Việt z Mục đích: xác định ranh giới của các từ trong câu. z Là bước xử lý quan trọng đối với các hệ thống XLNNTN, đặc biệt là đối với các ngôn ngữ đơn lập, ví dụ: âm tiết Lê Thanh Hương Trung Quốc, âm tiết Nhật, âm tiết Thái, và tiếng Việt. Bộ môn Hệ thống Thông tin z Với các ngôn ngữ đơn lập, một từ có thể ể có một hoặc Viện CNTT &TT – Trường ĐHBKHN nhiều âm tiết. Email: huonglt-fit@ ¾ Vấn đề của bài toán tách từ là khử được sự nhập nhằng trong ranh giới từ. 1 2 Từ vựng Từ vựng z tiếng Việt là ngôn ngữ không biến hình Độ dài # % z Từ điển từ tiếng Việt (Vietlex): > từ, 1 6,303 trong đó: 2 28,416 z 81 55% â âm tiết là từ : từ đơn đ 3 2,259 2 259 5 62 z các từ trong từ điển là từ đơn 4 2,784 z từ ghép có 2 âm tiết 5 419 z từ ghép ≥ 3 âm tiết Tổng 40,181 100 z từ ghép ≥ 4 âm tiết Bảng 1. Độ dài của từ tính theo âm tiết 3 4 Qui tắc cấu tạo từ tiếng Việt Qui tắc cấu tạo từ tiếng Việt z Từ đơn: dùng một âm tiết làm một từ. z Từ láy: các yếu tố cấu tạo có thành phần ngữ âm được lặp z Ví dụ: tôi, bác, người, cây, hoa, đi, chạy, vì, đã, à, nhỉ, nhé. lại; nhưng vừa lặp vừa biến đổi. Một từ được lặp lại cũng cho ta từ láy. z Từ ghép: tổ hợp (ghép) các âm tiết lại, giữa các âm tiết đó có quan hệ về nghĩa với nhau. z Biến thể của từ: được coi là dạng lâm thời biến động hoặc dạng "lời lời nói" nói của từ. z Từ ghép đẳng ẳ lập. các á thành à tốố cấu ấ tạo có ó quan hệ ệ bình ì đẳng ẳ với ớ nhau về nghĩa. z Rút gọn một từ dài thành từ ngắn hơn z ki-lô-gam → ki lô/ kí lô z Ví dụ: chợ búa, bếp núc z Từ ghép chính phụ. các thành tố cấu tạo này phụ thuộc vào thành z Lâm thời phá vỡ cấu trúc của từ, phân bố lại yếu tố tạo từ với tố cấu tạo kia. Thành tố phụ có vai trò phân loại, chuyên biệt hoá .
đang nạp các trang xem trước
