TAILIEUCHUNG - Báo cáo khoa học: "Fast Syntactic Analysis for Statistical Language Modeling via Substructure Sharing and Uptraining"

Long-span features, such as syntax, can improve language models for tasks such as speech recognition and machine translation. However, these language models can be difficult to use in practice because of the time required to generate features for rescoring a large hypothesis set. In this work, we propose substructure sharing, which saves duplicate work in processing hypothesis sets with redundant hypothesis structures. | Fast Syntactic Analysis for Statistical Language Modeling via Substructure Sharing and Uptraining Ariya Rastrow Mark Dredze Sanjeev Khudanpur Human Language Technology Center of Excellence Center for Language and Speech Processing Johns Hopkins University Baltimore MD uSa ariya mdredze khudanpur @ Abstract Long-span features such as syntax can improve language models for tasks such as speech recognition and machine translation. However these language models can be difficult to use in practice because of the time required to generate features for rescoring a large hypothesis set. In this work we propose substructure sharing which saves duplicate work in processing hypothesis sets with redundant hypothesis structures. We apply substructure sharing to a dependency parser and part of speech tagger to obtain significant speedups and further improve the accuracy of these tools through up-training. When using these improved tools in a language model for speech recognition we obtain significant speed improvements with both N-best and hill climbing rescoring and show that up-training leads to WER reduction. 1 Introduction Language models LM are crucial components in tasks that require the generation of coherent natural language text such as automatic speech recognition ASR and machine translation MT . While traditional LMs use word n-grams where the n 1 previous words predict the next word newer models integrate long-span information in making decisions. For example incorporating long-distance dependencies and syntactic structure can help the LM better predict words by complementing the predictive power of n-grams Chelba and Jelinek 2000 Collins et al. 2005 Filimonov and Harper 2009 Kuo et al. 2009 . 175 The long-distance dependencies can be modeled in either a generative or a discriminative framework. Discriminative models which directly distinguish correct from incorrect hypothesis are particularly attractive because they allow the inclusion of arbitrary features .

• Báo cáo khoa học
• Fast Syntactic Analysis
• Statistical Language Modeling
• Substructure Sharing and Uptraining
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball