TAILIEUCHUNG - Báo cáo khoa học: "Automatically Predicting Peer-Review Helpfulness"

Identifying peer-review helpfulness is an important task for improving the quality of feedback that students receive from their peers. As a first step towards enhancing existing peerreview systems with new functionality based on helpfulness detection, we examine whether standard product review analysis techniques also apply to our new context of peer reviews. In addition, we investigate the utility of incorporating additional specialized features tailored to peer review. | Automatically Predicting Peer-Review Helpfulness Wenting Xiong University of Pittsburgh Department of Computer Science Pittsburgh PA 15260 wex12@ Diane Litman University of Pittsburgh Department of Computer Science Learning Research and Development Center Pittsburgh PA 15260 litman@ Abstract Identifying peer-review helpfulness is an important task for improving the quality of feedback that students receive from their peers. As a first step towards enhancing existing peerreview systems with new functionality based on helpfulness detection we examine whether standard product review analysis techniques also apply to our new context of peer reviews. In addition we investigate the utility of incorporating additional specialized features tailored to peer review. Our preliminary results show that the structural features review unigrams and meta-data combined are useful in modeling the helpfulness of both peer reviews and product reviews while peer-review specific auxiliary features can further improve helpfulness prediction. 1 Introduction Peer reviewing of student writing has been widely used in various academic fields. While existing web-based peer-review systems largely save instructors effort in setting up peer-review assignments and managing document assignment there still remains the problem that the quality of peer reviews is often poor Nelson and Schunn 2009 . Thus to enhance the effectiveness of existing peer-review systems we propose to automatically predict the helpfulness of peer reviews. In this paper we examine prior techniques that have been used to successfully rank helpfulness for product reviews and adapt them to the peer-review domain. In particular we use an SVM regression algorithm to predict the helpfulness of peer reviews 502 based on generic linguistic features automatically mined from peer reviews and students papers plus specialized features based on existing knowledge about peer reviews. We not only demonstrate that prior .

• Báo cáo khoa học
• Automatically Predicting Peer Review Helpfulness
• Wenting Xiong
• Long Papers
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball