TAILIEUCHUNG - Báo cáo khoa học: "Learning to Rank Answers on Large Online QA Collections"

This work describes an answer ranking engine for non-factoid questions built using a large online community-generated question-answer collection (Yahoo! Answers). We show how such collections may be used to effectively set up large supervised learning experiments. Furthermore we investigate a wide range of feature types, some exploiting NLP processors, and demonstrate that using them in combination leads to considerable improvements in accuracy. | Learning to Rank Answers on Large Online QA Collections Mihai Surdeanu Massimiliano Ciaramita Hugo Zaragoza Barcelona Media Innovation Center Yahoo Research Barcelona massi hugo @ Abstract This work describes an answer ranking engine for non-factoid questions built using a large online community-generated question-answer collection Yahoo Answers . We show how such collections may be used to effectively set up large supervised learning experiments. Furthermore we investigate a wide range of feature types some exploiting NLP processors and demonstrate that using them in combination leads to considerable improvements in accuracy. High Quality Low Quality Q How do you quiet a squeaky door A Spray WD-40 directly onto the hinges of the door. Open and close the door several times. Remove hinges if the door still squeaks. Remove any rust dirt or loose paint. Apply WD-40 to removed hinges. Put the hinges back open and close door several times again. Q How to extract html tags from an html documents with c A very carefully Table 1 Sample content from Yahoo Answers. 1 Introduction The problem of Question Answering QA has received considerable attention in the past few years. Nevertheless most of the work has focused on the task of factoid QA where questions match short answers usually in the form of named or numerical entities. Thanks to international evaluations organized by conferences such as the Text REtrieval Conference TREC 1 or the Cross Language Evaluation Forum CLEF Workshop2 annotated corpora of questions and answers have become available for several languages which has facilitated the development of robust machine learning models for the task. The situation is different once one moves beyond the task of factoid QA. Comparatively little research has focused on QA models for non-factoid questions such as causation manner or reason questions. Because virtually no training data is available for this problem most automated

• Báo cáo khoa học
• Learning to Rank Answers
• Large Online QA Collections
• Mihai Surdeanu
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học