TAILIEUCHUNG - Báo cáo khoa học: "A Simple Measure to Assess Non-response"

There are several tasks where is preferable not responding than responding incorrectly. This idea is not new, but despite several previous attempts there isn’t a commonly accepted measure to assess non-response. We study here an extension of accuracy measure with this feature and a very easy to understand interpretation. The measure proposed (c@1) has a good balance of discrimination power, stability and sensitivity properties. We show also how this measure is able to reward systems that maintain the same number of correct answers and at the same time decrease the number of incorrect ones, by leaving some questions unanswered | A Simple Measure to Assess Non-response Anselmo Penas and Alvaro Rodrigo UNED NLP IR Group Juan del Rosal 16 28040 Madrid Spain anselmo alvarory@ Abstract There are several tasks where is preferable not responding than responding incorrectly. This idea is not new but despite several previous attempts there isn t a commonly accepted measure to assess non-response. We study here an extension of accuracy measure with this feature and a very easy to understand interpretation. The measure proposed c@1 has a good balance of discrimination power stability and sensitivity properties. We show also how this measure is able to reward systems that maintain the same number of correct answers and at the same time decrease the number of incorrect ones by leaving some questions unanswered. This measure is well suited for tasks such as Reading Comprehension tests where multiple choices per question are given but only one is correct. 1 Introduction There is some tendency to consider that an incorrect result is simply the absence of a correct one. This is particularly true in the evaluation of Information Retrieval systems where in fact the absence of results sometimes is the worse output. However there are scenarios where we should consider the possibility of not responding because this behavior has more value than responding incorrectly. For example during the process of introducing new features in a search engine it is important to preserve users confidence in the system. Thus a system must decide whether it should give or not a result in the new fashion or keep on with the old kind of output. A similar example is the decision 1415 about showing or not ads related to the query. Showing wrong ads harms the business model more than showing nothing. A third example more related to Natural Language Processing is the Machine Reading evaluation through reading comprehension tests. In this case where multiple choices for a question are offered choosing a wrong option should be

• Báo cáo khoa học
• A Simple Measure
• Assess Non response
• Anselmo Penas and Alvaro Rodrigo
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• BMC Cancer
• Interval cancer
• Program evaluation
• Quality measure
• Background incidence
• Interpretive structural modelling
• Multi attribute decision problems
• Multi attribute decision making environment
• Simple weighted average
• Performance status
• Eastern Cooperative Oncology Group
• Cancer care
• Karnofsky Performance Status
• BMC Musculoskeletal Disorders
• Cuff arthropathy
• Reverse shoulder arthroplasty
• Treatment effect
• Knee arthroplasty
• Neck pain
• Movement sense testing
• Sensorimotor control
• Asymptomatic subjects
• BMC Veterinary Research
• Body weight distribution
• Digital scales
• Spinal cord injury
• Static weight distribution
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball