TAILIEUCHUNG - Báo cáo khoa học: "Learning Effective Multimodal Dialogue Strategies from Wizard-of-Oz data: Bootstrapping and Evaluation"

We address two problems in the field of automatic optimization of dialogue strategies: learning effective dialogue strategies when no initial data or system exists, and evaluating the result with real users. We use Reinforcement Learning (RL) to learn multimodal dialogue strategies by interaction with a simulated environment which is “bootstrapped” from small amounts of Wizard-of-Oz (WOZ) data. | Learning Effective Multimodal Dialogue Strategies from Wizard-of-Oz data Bootstrapping and Evaluation Verena Rieser School of Informatics University of Edinburgh Edinburgh EH8 9LW Gb vrieser@ Oliver Lemon School of Informatics University of Edinburgh Edinburgh EH8 9LW GB olemon@ Abstract We address two problems in the field of automatic optimization of dialogue strategies learning effective dialogue strategies when no initial data or system exists and evaluating the result with real users. We use Reinforcement Learning RL to learn multimodal dialogue strategies by interaction with a simulated environment which is bootstrapped from small amounts of Wizard-of-Oz WOZ data. This use of WOZ data allows development of optimal strategies for domains where no working prototype is available. We compare the RL-based strategy against a supervised strategy which mimics the wizards policies. This comparison allows us to measure relative improvement over the training data. Our results show that RL significantly outperforms Supervised Learning when interacting in simulation as well as for interactions with real users. The RL-based policy gains on average 50-times more reward when tested in simulation and almost 18-times more reward when interacting with real users. Users also subjectively rate the RL-based policy on average 10 higher. 1 Introduction Designing a spoken dialogue system is a timeconsuming and challenging task. A developer may spend a lot of time and effort anticipating the potential needs of a specific application environment and then deciding on the most appropriate system action . confirm present items . . One of the key advantages of statistical optimisation methods such as Reinforcement Learning RL for dialogue strategy design is that the problem can be formulated as a principled mathematical model which can be automatically trained on real data Lemon and Pietquin 2007 Frampton and Lemon to appear . In cases where a system is designed

• Báo cáo khoa học
• Learning Effective Multimodal Dialogue Strategies
• Wizard of Oz data
• Bootstrapping and Evaluation
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học