TAILIEUCHUNG - Báo cáo khoa học: "Reducing Approximation and Estimation Errors for Chinese Lexical Processing with Heterogeneous Annotations"

tation schemes in different projects are usually different, since the underlying linguistic theories vary and have different ways to explain the same language phenomena. Though statistical NLP systems usually are not bound to specific annotation standards, almost all of them assume homogeneous annotation in the training corpus. | Reducing Approximation and Estimation Errors for Chinese Lexical Processing with Heterogeneous Annotations Weiwei Sun and Xiaojun Wan- Institute of Computer Science and Technology Peking University Saarhriicken Graduate School of Computer Science Department of Computational Linguistics Saarland University Language Technology Lab DFKI GmbH ws wanxiaojun @ Abstract We address the issue of consuming heterogeneous annotation data for Chinese word segmentation and part-of-speech tagging. We empirically analyze the diversity between two representative corpora . Penn Chinese Treebank CTB and PKU s People s Daily PPD on manually mapped data and show that their linguistic annotations are systematically different and highly compatible. The analysis is further exploited to improve processing accuracy by 1 integrating systems that are respectively trained on heterogeneous annotations to reduce the approximation error and 2 re-training models with high quality automatically converted data to reduce the estimation error. Evaluation on the CTB and PPD data shows that our novel model achieves a relative error reduction of 11 over the best reported result in the literature. 1 Introduction A majority of data-driven NLP systems rely on large-scale manually annotated corpora that are important to train statistical models but very expensive to build. Nowadays for many tasks multiple heterogeneous annotated corpora have been built and publicly available. For example the Penn Treebank is popular to train PCFG-based parsers while the Redwoods Treebank is well known for HPSG research the Propbank is favored to build general semantic role labeling systems while the FrameNet is attractive for predicate-specific labeling. The anno- This work is mainly finished when the first author was in Saarland University and DFKI. Both authors are the corresponding authors. 232 tation schemes in different projects are usually different since the underlying linguistic theories vary and have .

• Báo cáo khoa học
• Reducing Approximation
• Estimation Errors
• Chinese Lexical Processing
• Heterogeneous Annotations
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Semantic approximation based operator
• Reducing code bloat in genetic programming
• Reducing code bloat
• Prune and Plant based on Approximate Termina
• Three recent bloat control methods
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball