TAILIEUCHUNG - Báo cáo khoa học: "Word representations: A simple and general method for semi-supervised learning"

If we take an existing supervised NLP system, a simple and general way to improve accuracy is to use unsupervised word representations as extra word features. We evaluate Brown clusters, Collobert and Weston (2008) embeddings, and HLBL (Mnih & Hinton, 2009) embeddings of words on both NER and chunking. We use near state-of-the-art supervised baselines, and find that each of the three word representations improves the accuracy of these baselines. | Word representations A simple and general method for semi-supervised learning Joseph Turian Departement d Informatique et Recherche Operationnelle DIRO Universite de Montreal Montreal Quebec Canada H3T 1J4 lastname@ Lev Ratinov Department of Computer Science University of Illinois at Urbana-Champaign Urbana IL 61801 ratinov2@ Yoshua Bengio Departement d Informatique et Recherche Operationnelle DIRO Universite de Montreal Montreal Quebec Canada H3T 1J4 bengioy@ Abstract If we take an existing supervised NLP system a simple and general way to improve accuracy is to use unsupervised word representations as extra word features. We evaluate Brown clusters Collobert and Weston 2008 embeddings and HLBL Mnih Hinton 2009 embeddings of words on both NER and chunking. We use near state-of-the-art supervised baselines and find that each of the three word representations improves the accuracy of these baselines. We find further improvements by combining different word representations. You can download our word features for off-the-shelf use in existing NLP systems as well as our code here http metaoptimize. com projects wordreprs 1 Introduction By using unlabelled data to reduce data sparsity in the labeled training data semi-supervised approaches improve generalization accuracy. Semi-supervised models such as Ando and Zhang 2005 Suzuki and Isozaki 2008 and Suzuki et al. 2009 achieve state-of-the-art accuracy. However these approaches dictate a particular choice of model and training regime. It can be tricky and time-consuming to adapt an existing supervised NLP system to use these semi-supervised techniques. It is preferable to use a simple and general method to adapt existing supervised NLP systems to be semi-supervised. One approach that is becoming popular is to use unsupervised methods to induce word features or to download word features that have already been induced plug these word features into an existing system and observe a .

• Báo cáo khoa học
• Word representations
• A simple and general method
• semi supervised learning
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Improving Word Representations
• Global Context
• Multiple Word Prototypes
• Eric H
• Huang
• Richard Socher
• Using distributed word representations
• Graph based dependency parsing for Vietnamese
• Graph based dependency parsing
• Dependency syntax
• Vietnamese syntax
• Vietnamese dependency parsing
• BMC Bioinformatics
• Biomedical text mining
• Relation extraction
• Deep learning
• Attention networks
• Contextual word embeddings
• Entity recognition
• Entity normalization
• Knowledge base
• Attention mechanism
• Contextual word representations
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball