TAILIEUCHUNG - Báo cáo khoa học: " Multimodal In-Car Dialogue"

The system is an in-car multimodal dialogue system for an MP3 application. It is used as a testing environment for our research in natural, intuitive mixed-initiative interaction, with particular emphasis on multimodal output planning and realization aimed to produce output adapted to the context, including the driver’s attention state . the primary driving task. | The SAMMIE System Multimodal In-Car Dialogue Tilman Becker Peter Poller Jan Schehl DFKI Nate Blaylock Ciprian Gerstenberger Ivana Kruijff-Korbayova Saarland University talk-mit@ Abstract The SAMMIE1 system is an in-car multimodal dialogue system for an MP3 application. It is used as a testing environment for our research in natural intuitive mixed-initiative interaction with particular emphasis on multimodal output planning and realization aimed to produce output adapted to the context including the driver s attention state . the primary driving task. 1 Introduction The SAMMIE system developed in the TALK project in cooperation between several academic and industrial partners employs the Information State Update paradigm extended to model collaborative problem solving multimodal context and the driver s attention state. We performed extensive user studies in a WOZ setup to guide the system design. A formal usability evaluation of the system s baseline version in a laboratory environment has been carried out with overall positive results. An enhanced version of the system will be integrated and evaluated in a research car. In the following sections we describe the functionality and architecture of the system point out its special features in comparison to existing work and give more details on the modules that are in the focus of our research interests. Finally we summarize our experiments and evaluation results. 2 Functionality The SAMMIE system provides a multi-modal interface to an in-car MP3 player see Fig. 1 through speech and haptic input with a BMW iDrive input device a button which can be turned pushed down and sideways in four directions see Fig. 2 left . System output is provided by speech and a graphical display integrated into the car s dashboard. An example of the system display is shown in Fig. 2. 1SAMMIE stands for Saarbrucken Multimodal MP3 Player Interaction Experiment. Figure 1 User environment in laboratory .

• Báo cáo khoa học
• Multimodal In Car Dialogue
• Tilman Becker
• Peter Poller
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học