TAILIEUCHUNG - Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing): Bài 2 - Lê Thanh Hương
Bài 2 bao gồm những nội dung kiến thức cơ bản về tách từ tiếng Việt. Đây là bước xử lý quan trọng đối với các hệ thống xử lý ngôn ngữ tự nhiên, đặc biệt là đối với các ngôn ngữ đơn lập. Với các ngôn ngữ đơn lập, một từ có thể có một hoặc nhiều âm tiết. Vấn đề của bài toán tách từ là khử được sự nhập nhằng trong ranh giới từ. bài giảng để biết thêm chi tiết. | Tách từ Tách từ tiếng Việt z z Lê Thanh Hương Bộ môn Hệ thống Thông tin Viện CNTT &TT – Trường ĐHBKHN Email: huonglt-fit@ z ¾ Mục đích: xác định ranh giới của các từ trong câu. Là bước xử lý quan trọng đối với các hệ thống XLNNTN, đặc biệt là đối với các ngôn ngữ đơn lập, ví dụ: âm tiết Trung Quốc, âm tiết Nhật, âm tiết Thái, và tiếng Việt. Với các ngôn ngữ đơn lập, một từ có thể ể có một hoặc nhiều âm tiết. Vấn đề của bài toán tách từ là khử được sự nhập nhằng trong ranh giới từ. 1 Từ vựng z z 2 Từ vựng tiếng Việt là ngôn ngữ không biến hình Từ điển từ tiếng Việt (Vietlex): > từ, trong đó: z z z z z 81 55% â âm tiết là từ : từ đơn đ các từ trong từ điển là từ đơn từ ghép có 2 âm tiết từ ghép ≥ 3 âm tiết từ ghép ≥ 4 âm tiết Độ dài # % 1 6,303 2 28,416 3 4 2,259 2 259 2,784 5 62 5 419 Tổng 40,181 100 Bảng 1. Độ dài của từ tính theo âm tiết 3 Qui tắc cấu tạo từ tiếng Việt z z Qui tắc cấu tạo từ tiếng Việt Từ đơn: dùng một âm tiết làm một từ. z z Ví dụ: tôi, bác, người, cây, hoa, đi, chạy, vì, đã, à, nhỉ, nhé. Từ ghép: tổ hợp (ghép) các âm tiết lại, giữa các âm tiết đó có quan hệ về nghĩa với nhau. z z 4 z Từ ghép đẳng ẳ lập. các á thành à tố ố cấu ấ tạo có ó quan hệ ệ bình ì đẳng ẳ với ớ nhau về nghĩa. z Ví dụ: chợ búa, bếp núc Từ ghép chính phụ. các thành tố cấu tạo này phụ thuộc vào thành tố cấu tạo kia. Thành tố phụ có vai trò phân loại, chuyên biệt hoá và sắc thái hoá cho thành tố chính. z Ví dụ: tàu hoả, đường sắt, xấu bụng, tốt mã, ngay đơ, thằng tắp, sưng vù. 5 Từ láy: các yếu tố cấu tạo có thành phần ngữ âm được lặp lại; nhưng vừa lặp vừa biến đổi. Một từ được lặp lại cũng cho ta từ láy. Biến thể của từ: được coi là dạng lâm thời biến động hoặc dạng "lời lời nói" nói của từ. z z Rút gọn một từ dài thành từ ngắn hơn z ki-lô-gam → ki lô/ kí lô Lâm thời phá vỡ cấu trúc của từ, phân bố lại yếu tố tạo từ với những yếu tố khác ngoài từ
đang nạp các trang xem trước
