TAILIEUCHUNG - Báo cáo khoa học: "Efficient Inference of CRFs for Large-Scale Natural Language Data"

This paper presents an efficient inference algorithm of conditional random fields (CRFs) for large-scale data. Our key idea is to decompose the output label state into an active set and an inactive set in which most unsupported transitions become a constant. Our method unifies two previous methods for efficient inference of CRFs, and also derives a simple but robust special case that performs faster than exact inference when the active sets are sufficiently small. We demonstrate that our method achieves dramatic speedup on six standard natural language processing problems. . | Efficient Inference of CRFs for Large-Scale Natural Language Data Minwoo Jeong Chin-Yew Lin- Gary Geunbae Lee tPohang University of Science Technology Pohang Korea Microsoft Research Asia Beijing China t stardust gblee @ lcyl@ Abstract This paper presents an efficient inference algorithm of conditional random fields CRFs for large-scale data. Our key idea is to decompose the output label state into an active set and an inactive set in which most unsupported transitions become a constant. Our method unifies two previous methods for efficient inference of CRFs and also derives a simple but robust special case that performs faster than exact inference when the active sets are sufficiently small. We demonstrate that our method achieves dramatic speedup on six standard natural language processing problems. 1 Introduction Conditional random fields CRFs are widely used in natural language processing but extending them to large-scale problems remains a significant challenge. For simple graphical structures . linear-chain an exact inference can be obtained efficiently if the number of output labels is not large. However for large number of output labels the inference is often prohibitively expensive. To alleviate this problem researchers have begun to study the methods of increasing inference speeds of CRFs. Pal et al. 2006 proposed a Sparse ForwardBackward SFB algorithm in which marginal distribution is compressed by approximating the true marginals using Kullback-Leibler KL divergence. Cohn 2006 proposed a Tied Potential TP algorithm which constrains the labeling considered in each feature function such that the functions can detect only a relatively small set of labels. Both of these techniques efficiently compute the marginals with a significantly reduced runtime resulting in faster training and decoding of CRFs. This paper presents an efficient inference algorithm of CRFs which unifies the SFB and TP approaches. We first decompose output .

• Báo cáo khoa học
• Efficient Inference of CRFs
• Large Scale Natural Language Data
• Minwoo Jeong
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học