TAILIEUCHUNG - Báo cáo khoa học: "Hierarchical Reinforcement Learning and Hidden Markov Models for Task-Oriented Natural Language Generation"

Surface realisation decisions in language generation can be sensitive to a language model, but also to decisions of content selection. We therefore propose the joint optimisation of content selection and surface realisation using Hierarchical Reinforcement Learning (HRL). To this end, we suggest a novel reward function that is induced from human data and is especially suited for surface realisation. | Hierarchical Reinforcement Learning and Hidden Markov Models for Task-Oriented Natural Language Generation Nina Dethlefs Heriberto Cuayahuitl Department of Linguistics German Research Centre for Artificial Intelligence University of Bremen DFKI Saarbrucken dethlefs@ Abstract Surface realisation decisions in language generation can be sensitive to a language model but also to decisions of content selection. We therefore propose the joint optimisation of content selection and surface realisation using Hierarchical Reinforcement Learning HRL . To this end we suggest a novel reward function that is induced from human data and is especially suited for surface realisation. It is based on a generation space in the form of a Hidden Markov Model HMM . Results in terms of task success and human-likeness suggest that our unified approach performs better than greedy or random baselines. 1 Introduction Surface realisation decisions in a Natural Language Generation NLG system are often made according to a language model of the domain Langkilde and Knight 1998 Bangalore and Rambow 2000 Oh and Rudnicky 2000 White 2004 Belz 2008 . However there are other linguistic phenomena such as alignment Pickering and Garrod 2004 consistency Halliday and Hasan 1976 and variation which influence people s assessment of discourse Levelt and Kelter 1982 and generated output Belz and Reiter 2006 Foster and Oberlander 2006 . Also in dialogue the most likely surface form may not always be appropriate because it does not correspond to the user s infomiation need the user is confused or the most likely sequence is infelicitous with respect to the dialogue history. In such cases it is important to optimise surface realisation in a unified fashion with content selection. We suggest to use Hierarchical Reinforcement Learning HRL to 654 achieve this. Reinforcement Learning RL is an attractive framework for optimising a sequence of decisions given incomplete .

• Báo cáo khoa học
• Hierarchical Reinforcement Learning and Hidden Markov Models
• Task Oriented Natura
• l Language Generation
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball