TAILIEUCHUNG - Báo cáo khoa học: "Pronunciation Modeling for Improved Spelling Correction"

This paper presents a method for incorporating word pronunciation information in a noisy channel model for spelling correction. The proposed method builds an explicit error model for word pronunciations. By modeling pronunciation similarities between words we achieve a substantial performance improvement over the previous best performing models for spelling correction. | Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics ACL Philadelphia July 2002 pp. 144-151. Pronunciation Modeling for Improved Spelling Correction Kristina Toutanova Computer Science Department Stanford University Stanford CA 94305 UsA Robert C. Moore Microsoft Research One Microsoft Way Redmond WA 98052 UsA Abstract This paper presents a method for incorporating word pronunciation information in a noisy channel model for spelling correction. The proposed method builds an explicit error model for word pronunciations. By modeling pronunciation similarities between words we achieve a substantial performance improvement over the previous best performing models for spelling correction. 1 Introduction Spelling errors are generally grouped into two classes Kuckich 1992 typographic and cognitive. Cognitive errors occur when the writer does not know how to spell a word. In these cases the misspelling often has the same pronunciation as the correct word for example writing latex as latecks . Typographic errors are mostly errors related to the keyboard . substitution or transposition of two letters because their keys are close on the keyboard. Damerau 1964 found that 80 of misspelled words that are non-word errors are the result of a single insertion deletion substitution or transposition of letters. Many of the early algorithms for spelling correction are based on the assumption that the correct word differs from the misspelling by exactly one of these operations M. D. Kernigan and Gale 1990 Church and Gale 1991 Mayes and F. Dam-erau 1991 . By estimating probabilities or weights for the different edit operations and conditioning on the left and right context for insertions and deletions and allowing multiple edit operations high spelling correction accuracy has been achieved. At ACL 2000 Brill and Moore 2000 introduced a new error model allowing generic string-to-string edits. This model reduced the error rate of the best previous .

• Báo cáo khoa học
• Pronunciation Modeling
• Improved Spelling Correction
• Kristina Toutanova
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Discriminative Pronunciation Modeling
• A Large Margin
• Feature Rich Approach
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học