TAILIEUCHUNG - Báo cáo khoa học: "American Sign Language Generation: Multimodal NLG with Multiple Linguistic Channels"

Software to translate English text into American Sign Language (ASL) animation can improve information accessibility for the majority of deaf adults with limited English literacy. ASL natural language generation (NLG) is a special form of multimodal NLG that uses multiple linguistic output channels. ASL NLG technology has applications for the generation of gesture animation and other communication signals that are not easily encoded as text strings. | American Sign Language Generation Multimodal NLG with Multiple Linguistic Channels Matt Huenerfauth Computer and Information Science University of Pennsylvania Philadelphia PA 19104 USA matt@ Abstract Software to translate English text into American Sign Language ASL animation can improve information accessibility for the majority of deaf adults with limited English literacy. ASL natural language generation NLG is a special form of multimodal NLG that uses multiple linguistic output channels. ASL NLG technology has applications for the generation of gesture animation and other communication signals that are not easily encoded as text strings. 1 Introduction and Motivations American Sign Language ASL is a full natural language - with a linguistic structure distinct from English - used as the primary means of communication for approximately one half million deaf people in the United States Neidle et al. 2000 Liddell 2003 Mitchell 2004 . Without aural exposure to English during childhood a majority of deaf . high school graduates age 18 have only a fourth-grade age 10 English reading level Holt 1991 . Technology for the deaf rarely addresses this literacy issue so many deaf people find it difficult to read text on electronic devices. Software for translating English text into animations of a computer-generated character performing ASL can make a variety of English text sources accessible to the deaf including TV closed captioning teletype telephones and computer user-interfaces Huener-fauth 2005 . Machine translation MT can also be used in educational software for deaf children to help them improve their English literacy skills. This paper describes the design of our English-to-ASL MT system Huenerfauth 2004a 2004b 2005 focusing on ASL generation. This overview illustrates important correspondences between the problem of ASL natural language generation NLG and related research in Multimodal NLG. ASL Linguistic Issues In ASL several parts of the .

• Báo cáo khoa học
• American Sign Language Generation
• Multimodal NLG
• Multiple Linguistic Channels
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học