TAILIEUCHUNG - Báo cáo khoa học: "Multimodal Database Access on Handheld Devices"

Navigation in large, complex and multidimensional information spaces is still a challenging task. The search is even more difficult in small devices such as MP3 players, which only have a reduced screen and lack of a proper keyboard. In the MIAMM project 1 we have developed a multimodal dialogue system that uses speech, haptic interaction and advanced techniques for information visualization to allow a natural and fast access to music databases on small scale devices. | Multimodal Database Access on Handheld Devices Elsa Pecourt and Norbert Reithinger DFKI GmbH Stuhlsatzenhausenweg3 D-66123 Saarbrucken Germany pecourt reithinger @ Abstract We present the final MIAMM system a multimodal dialogue system that employs speech haptic interaction and novel techniques of information visualization to allow a natural and fast access to large multimedia databases on small handheld devices. 1 Introduction Navigation in large complex and multidimensional information spaces is still a challenging task. The search is even more difficult in small devices such as MP3 players which only have a reduced screen and lack of a proper keyboard. In the MIAMM project1 we have developed a multimodal dialogue system that uses speech haptic interaction and advanced techniques for information visualization to allow a natural and fast access to music databases on small scale devices. The user can pose queries in natural language using different dimensions . release year genre artist or mood. The retrieved data are presented along this dimensions using various visualization metaphors. Haptic feedback allows the user to feel the size density and structure of the visualized data to facilitate the navigation. All modalities are available for the user to access and navigate through the database and to select titles to be played. The envisioned end-user device is a handheld Personal Digital Assistant PDA see figure 1 that provides an interface to a music database. The device includes a screen where data and system messages are visualized three force-feedback buttons on the left side and one combined scroll wheel button on the upper right side that can be used to navigate on the visualized data as well as to perform actions on the data items . play or select a song a microphone to capture spoken input and speakers to give audio output. Since we do not develop the hardware we simulate the PDA using a 3D model on a computer screen and the buttons 1 http .

• Báo cáo khoa học
• Multimodal Database Access
• Handheld Devices
• Elsa Pecourt and Norbert Reithinger
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học