TAILIEUCHUNG - Báo cáo khoa học: "Using Rejuvenation to Improve Particle Filtering for Bayesian Word Segmentation"

We present a novel extension to a recently proposed incremental learning algorithm for the word segmentation problem originally introduced in Goldwater (2006). By adding rejuvenation to a particle filter, we are able to considerably improve its performance, both in terms of finding higher probability and higher accuracy solutions. | Using Rejuvenation to Improve Particle Filtering for Bayesian Word Segmentation Benjamin Borschinger Mark Johnson Department of Computing Macquarie University Sydney Australia Department of Computational Linguistics Heidelberg University Heidelberg Germany Abstract We present a novel extension to a recently proposed incremental learning algorithm for the word segmentation problem originally introduced in Goldwater 2006 . By adding rejuvenation to a particle filter we are able to considerably improve its performance both in terms of finding higher probability and higher accuracy solutions. 1 Introduction The goal of word segmentation is to segment a stream of segments . characters or phonemes into words. For example given the sequence youwanttoseethebook the goal is to recover the segmented string you want to see the book . The models introduced in Goldwater 2006 solve this problem in a fully unsupervised way by defining a generative process for word sequences making use of the Dirichlet Process DP prior. Until recently the only inference algorithm applied to these models were batch Markov Chain Monte Carlo MCMC sampling algorithms. Borschinger and Johnson 2011 proposed a strictly incremental particle filter algorithm that however performed considerably worse than the standard batch algorithms in particular for the Bigram model. We extend that algorithm by adding rejuvenation steps and show that this leads to considerable improvements thus strengthening the case for particle filters as another tool for Bayesian inference in computational linguistics. The rest of the paper is structured as follows. Sections 2 and 3 provide the relevant background about 85 word segmentation and previous work. Section 4 describes our algorithm. Section 5 reports on an experimental evaluation of our algorithm and section 6 concludes and suggests possible directions for future research. 2 Model description The Unigram model assumes

• Báo cáo khoa học
• Using Rejuvenation
• Improve Particle Filtering
• Bayesian Word Segmentation
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball