TAILIEUCHUNG - Báo cáo khoa học: "Phrase-based Statistical Language Generation using Graphical Models and Active Learning"

Most previous work on trainable language generation has focused on two paradigms: (a) using a statistical model to rank a set of generated utterances, or (b) using statistics to inform the generation decision process. Both approaches rely on the existence of a handcrafted generator, which limits their scalability to new domains. This paper presents BAGEL, a statistical language generator which uses dynamic Bayesian networks to learn from semantically-aligned data produced by 42 untrained annotators. . | Phrase-based Statistical Language Generation using Graphical Models and Active Learning Francois Mairesse Milica Gasic Filip JurCiCek Simon Keizer Blaise Thomson Kai Yu and Steve Young Cambridge University Engineering Department Trumpington Street Cambridge CB2 1PZ UK mg436 fj228 sk561 brmt2 ky219 sjy @ Abstract Most previous work on trainable language generation has focused on two paradigms a using a statistical model to rank a set of generated utterances or b using statistics to inform the generation decision process. Both approaches rely on the existence of a handcrafted generator which limits their scalability to new domains. This paper presents Bagel a statistical language generator which uses dynamic Bayesian networks to learn from semantically-aligned data produced by 42 untrained annotators. A human evaluation shows that BAGEL can generate natural and informative utterances from unseen inputs in the information presentation domain. Additionally generation performance on sparse datasets is improved significantly by using certainty-based active learning yielding ratings close to the human gold standard with a fraction of the data. 1 Introduction The field of natural language generation NLG is one of the last areas of computational linguistics to embrace statistical methods. Over the past decade statistical NLG has followed two lines of research. The first one pioneered by Langkilde and Knight 1998 introduces statistics in the generation process by training a model which reranks candidate outputs of a handcrafted generator. While their HALOGEN system uses an n-gram language model trained on news articles other systems have used hierarchical syntactic models Bangalore and Rambow 2000 models trained on user ratings of This research was partly funded by the UK EPSRC under grant agreement eP F013930 1 and funded by the EU FP7 Programme under grant agreement 216594 CLASSiC project . utterance quality Walker et al. .

• Báo cáo khoa học
• Phrase based Statistical Language Generation
• Graphical Models
• Active Learning
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball