TAILIEUCHUNG - Báo cáo khoa học: "Insertion, Deletion, or Substitution? Normalizing Text Messages without Pre-categorization nor Supervision"

Most text message normalization approaches are based on supervised learning and rely on human labeled training data. In addition, the nonstandard words are often categorized into different types and specific models are designed to tackle each type. In this paper, we propose a unified letter transformation approach that requires neither pre-categorization nor human supervision. Our approach models the generation process from the dictionary words to nonstandard tokens under a sequence labeling framework, where each letter in the dictionary word can be retained, removed, or substituted by other letters/digits. . | Insertion Deletion or Substitution Normalizing Text Messages without Pre-categorization nor Supervision Fei Liu1 Fuliang Weng2 Bingqing Wang3 Yang Liu1 1 Computer Science Department The University of Texas at Dallas 2Research and Technology Center Robert Bosch LLC 3School of Computer Science Fudan University feiliu yangll@ wbq@ Abstract Most text message normalization approaches are based on supervised learning and rely on human labeled training data. In addition the nonstandard words are often categorized into different types and specific models are designed to tackle each type. In this paper we propose a unified letter transformation approach that requires neither pre-categorization nor human supervision. Our approach models the generation process from the dictionary words to nonstandard tokens under a sequence labeling framework where each letter in the dictionary word can be retained removed or substituted by other letters digits. To avoid the expensive and time consuming hand labeling process we automatically collected a large set of noisy training pairs using a novel webbased approach and performed character-level alignment for model training. Experiments on both Twitter and SMS messages show that our system significantly outperformed the state-of-the-art deletion-based abbreviation system and the jazzy spell checker absolute accuracy gain of and over jazzy spell checker on the two test sets respectively . 1 Introduction Recent years have witnessed the explosive growth of text message usage including the mobile phone text messages SMS chat logs emails and status updates from the social network websites such as Twitter and Facebook. These text message collections serve as valuable information sources yet the nonstandard contents within them often degrade 71 2gether 6326 2getha 1266 2gthr 178 2qetha 46 togetha 919 togather 207 togehter 94 togethor 29 tgthr 250 t0gether 57 togeter 49 tagether .

• Báo cáo khoa học
• Insertion Deletion or Substitution
• Normalizing Text Messages
• Pre categorization nor Supervision
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball