TAILIEUCHUNG - Báo cáo khoa học: "Approximation Lasso Methods for Language Modeling"

Lasso is a regularization method for parameter estimation in linear models. It optimizes the model parameters with respect to a loss function subject to model complexities. This paper explores the use of lasso for statistical language modeling for text input. Owing to the very large number of parameters, directly optimizing the penalized lasso loss function is impossible. | Approximation Lasso Methods for Language Modeling Jianfeng Gao Microsoft Research One Microsoft Way Redmond WA 98052 USA jfgao@ Abstract Hisami Suzuki Microsoft Research One Microsoft Way Redmond WA 98052 USA hisamis@ Lasso is a regularization method for parameter estimation in linear models. It optimizes the model parameters with respect to a loss function subject to model complexities. This paper explores the use of lasso for statistical language modeling for text input. Owing to the very large number of parameters directly optimizing the penalized lasso loss function is impossible. Therefore we investigate two approximation methods the boosted lasso BLasso and the forward stagewise linear regression FSLR . Both methods when used with the exponential loss function bear strong resemblance to the boosting algorithm which has been used as a discriminative training method for language modeling. Evaluations on the task of Japanese text input show that BLasso is able to produce the best approximation to the lasso solution and leads to a significant improvement in terms of character error rate over boosting and the traditional maximum likelihood estimation. 1 Introduction Language modeling LM is fundamental to a wide range of applications. Recently it has been shown that a linear model estimated using discriminative training methods such as the boosting and perceptron algorithms outperforms significantly a traditional word trigram model trained using maximum likelihood estimation MLE on several tasks such as speech recognition and Asian language text input Bacchiani et al. 2004 Roark et al. 2004 Gao et al. 2005 Suzuki and Gao 2005 . The success of discriminative training methods is largely due to fact that unlike the traditional approach . MLE that maximizes the function . likelihood of training data that is loosely associated with error rate discriminative training methods aim to directly minimize the error rate on training data even if

• Báo cáo khoa học
• Approximation Lasso Methods
• Language Modeling
• Jianfeng Gao
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học