TAILIEUCHUNG - Báo cáo khoa học: "Annealing Techniques for Unsupervised Statistical Language Learning"

Exploiting unannotated natural language data is hard largely because unsupervised parameter estimation is hard. We describe deterministic annealing (Rose et al., 1990) as an appealing alternative to the ExpectationMaximization algorithm (Dempster et al., 1977). | Annealing Techniques for Unsupervised Statistical Language Learning Noah A. Smith and Jason Eisner Department of Computer Science Center for Language and Speech Processing Johns Hopkins University Baltimore MD 21218 USA nasmith jason @ Abstract Exploiting unannotated natural language data is hard largely because unsupervised parameter estimation is hard. We describe deterministic annealing Rose et al. 1990 as an appealing alternative to the ExpectationMaximization algorithm Dempster et al. 1977 . Seeking to avoid search error DA begins by globally maximizing an easy concave function and maintains a local maximum as it gradually morphs the function into the desired non-concave likelihood function. Applying DA to parsing and tagging models is shown to be straightforward significant improvements over EM are shown on a part-of-speech tagging task. We describe a variant skewed DA which can incorporate a good initializer when it is available and show significant improvements over EM on a grammar induction task. 1 Introduction Unlabeled data remains a tantalizing potential resource for NLP researchers. Some tasks can thrive on a nearly pure diet of unlabeled data Yarowsky 1995 Collins and Singer 1999 Cucerzan and Yarowsky 2003 . But for other tasks such as machine translation Brown et al. 1990 the chief merit of unlabeled data is simply that nothing else is available unsupervised parameter estimation is notorious for achieving mediocre results. The standard starting point is the ExpectationMaximization EM algorithm Dempster et al. 1977 . EM iteratively adjusts a model s parameters from an initial guess until it converges to a local maximum. Unfortunately likelihood functions in practice are riddled with suboptimal local maxima . Charniak 1993 ch. 7 . Moreover maximizing likelihood is not equivalent to maximizing task-defined accuracy . Merialdo 1994 . Here we focus on the search error problem. Assume that one has a model for which improving likelihood .

• Báo cáo khoa học
• Annealing Techniques
• Unsupervised Statistical Language Learning
• Noah A
• Smith and Jason Eisner
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học