TAILIEUCHUNG - Báo cáo khoa học: "Intelligent Selection of Language Model Training Data"

We address the problem of selecting nondomain-specific language model training data to build auxiliary language models for use in tasks such as machine translation. Our approach is based on comparing the cross-entropy, according to domainspecific and non-domain-specifc language models, for each sentence of the text source used to produce the latter language model. We show that this produces better language models, trained on less data, than both random data selection and two other previously proposed methods. . | Intelligent Selection of Language Model Training Data Robert C. Moore William Lewis Microsoft Research Redmond WA 98052 USA bobmoore wilewis @ Abstract We address the problem of selecting nondomain-specific language model training data to build auxiliary language models for use in tasks such as machine translation. Our approach is based on comparing the cross-entropy according to domainspecific and non-domain-specifc language models for each sentence of the text source used to produce the latter language model. We show that this produces better language models trained on less data than both random data selection and two other previously proposed methods. 1 Introduction Statistical N-gram language models are widely used in applications that produce natural-language text as output particularly speech recognition and machine translation. It seems to be a universal truth that output quality can always be improved by using more language model training data but only if the training data is reasonably well-matched to the desired output. This presents a problem because in virtually any particular application the amount of in-domain data is limited. Thus it has become standard practice to combine in-domain data with other data either by combining N-gram counts from in-domain and other data usually weighting the counts in some way or building separate language models from different data sources interpolating the language model probabilities either linearly or log-linearly. Log-linear interpolation is particularly popular in statistical machine translation . Brants et al. 2007 because the interpolation weights can easily be discriminatively trained to optimize an end-to-end translation objective function such as B LEU by making the log probability according to each language model a separate feature function in the overall translation model. The normal practice when using multiple languages models in machine translation seems to be to train models on as much .

• Báo cáo khoa học
• Intelligent Selection
• Language Model Training Data
• Robert C
• Moore William Lewis
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Multi agent systems
• Upstream supply chain
• Intelligent negotiation protocol
• Supplier and transportation provider selection
• Analytical hierarchy process
• Intelligent Systems
• Precision Agriculture
• Knowledge Management
• Bio Information Systems
• Algorithm Selection
• Industrial Applications
• intelligent communication
• mobility support
• service selection
• mobile service
• Service distribution
• market based resource
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball