TAILIEUCHUNG - Báo cáo khoa học: "Tokenization: Returning to a Long Solved Problem"

We examine some of the frequently disregarded subtleties of tokenization in Penn Treebank style, and present a new rule-based preprocessing toolkit that not only reproduces the Treebank tokenization with unmatched accuracy, but also maintains exact stand-off pointers to the original text and allows flexible configuration to diverse use cases (. to genreor domain-specific idiosyncrasies). | Tokenization Returning to a Long Solved Problem A Survey Contrastive Experiment Recommendations and Toolkit Rebecca Dridan Stephan Oepen Institutt for Informatikk Universitetet i Oslo rdridan oe @ Abstract We examine some of the frequently disregarded subtleties of tokenization in Penn Treebank style and present a new rule-based preprocessing toolkit that not only reproduces the Treebank tokenization with unmatched accuracy but also maintains exact stand-off pointers to the original text and allows flexible configuration to diverse use cases . to genre-or domain-specific idiosyncrasies . 1 Introduction Motivation The task of tokenization is hardly counted among the grand challenges of NLP and is conventionally interpreted as breaking up natural language text . into distinct meaningful units or tokens Kaplan 2005 . Practically speaking however tokeniza-tion is often combined with other string-level pre-processing for example normalization of punctuation of different conventions for dashes say disambiguation of quotation marks into opening vs. closing quotes or removal of unwanted mark-up where the specifics of such pre-processing depend both on properties of the input text as well as on assumptions made in downstream processing. Applying some string-level normalization prior to the identification of token boundaries can improve or simplify tokenization and a sub-task like the disambiguation of quote marks would in fact be hard to perform after tokenization seeing that it depends on adjacency to whitespace. In the following we thus assume a generalized notion of tokenization comprising all string-level processing up to and including the conversion of a sequence of characters a string to a sequence of token Obviously some of the normalization we include in the to-kenization task in this generalized interpretation could be left to downstream analysis where a tagger or parser for example could be expected to accept non-disambiguated quote marks .

• Báo cáo khoa học
• Tokenization
• Returning to a Long Solved Problem
• Contrastive Experiment
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Simultaneous Tokenization
• Part of Speech Tagging for Arabic
• Morphological Analyzer
• Character Classification
• ordbreak Identification
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Arabic Tokenization
• Part of Speech Tagging
• Morphological Disambiguation in One Fell Swoop
• One Tokenization per Source
• Long Papers
• Workshops
• Lecture Information retrieval techniques
• Bài giảng Kỹ thuật truy xuất thông tin
• Information retrieval techniques
• Parsing a document
• Tokenization language issues
• Basic indexing pipeline
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball