Kinh doanh - Marketing
Kinh tế quản lý
Biểu mẫu - Văn bản
Tài chính - Ngân hàng
Công nghệ thông tin
Tiếng anh ngoại ngữ
Kĩ thuật công nghệ
Khoa học tự nhiên
Khoa học xã hội
Văn hóa nghệ thuật
Sức khỏe - Y tế
Văn bản luật
Nông Lâm Ngư
Kỹ năng mềm
Luận văn - Báo cáo
Giải trí - Thư giãn
Tài liệu phổ thông
Văn mẫu
Tài liệu HOT
Tìm
Danh mục
Kinh doanh - Marketing
Kinh tế quản lý
Biểu mẫu - Văn bản
Tài chính - Ngân hàng
Công nghệ thông tin
Tiếng anh ngoại ngữ
Kĩ thuật công nghệ
Khoa học tự nhiên
Khoa học xã hội
Văn hóa nghệ thuật
Y tế sức khỏe
Văn bản luật
Nông lâm ngư
Kĩ năng mềm
Luận văn - Báo cáo
Giải trí - Thư giãn
Tài liệu phổ thông
Văn mẫu
Thông tin
Điều khoản sử dụng
Quy định bảo mật
Quy chế hoạt động
Chính sách bản quyền
0
Trang chủ
Luận Văn - Báo Cáo
Báo cáo khoa học
Báo cáo khoa học: "Different Structures for Evaluating Answers to Complex Questions: Pyramids Won’t Topple, and Neither Will Human Assessors"
TAILIEUCHUNG - Báo cáo khoa học: "Different Structures for Evaluating Answers to Complex Questions: Pyramids Won’t Topple, and Neither Will Human Assessors"
The idea of “nugget pyramids” has recently been introduced as a refinement to the nugget-based methodology used to evaluate answers to complex questions in the TREC QA tracks. This paper examines data from the 2006 evaluation, the first large-scale deployment of the nugget pyramids scheme. We show that this method of combining judgments of nugget importance from multiple assessors increases the stability and discriminative power of the evaluation while introducing only a small additional burden in terms of manual assessment. . | Different Structures for Evaluating Answers to Complex Questions Pyramids Won t Topple and Neither Will Human Assessors Hoa Trang Dang Information Access Division National Institute of Standards and Technology Gaithersburg MD 20899 Jimmy Lin College of Information Studies University of Maryland College Park MD 20742 jimmylin@ Abstract The idea of nugget pyramids has recently been introduced as a refinement to the nugget-based methodology used to evaluate answers to complex questions in the TREC QA tracks. This paper examines data from the 2006 evaluation the first large-scale deployment of the nugget pyramids scheme. We show that this method of combining judgments of nugget importance from multiple assessors increases the stability and discriminative power of the evaluation while introducing only a small additional burden in terms of manual assessment. We also consider an alternative method for combining assessor opinions which yields a distinction similar to micro- and macro-averaging in the context of classification tasks. While the two approaches differ in terms of underlying assumptions their results are nevertheless highly correlated. 1 Introduction The emergence of question answering QA systems for addressing complex information needs has necessitated the development and refinement of new methodologies for evaluating and comparing systems. In the Text REtrieval Conference TREC QA tracks organized by the . National Institute of Standards and Technology NIST improvements in evaluation processes have kept pace with the evolution of QA tasks. For the past several years NIST has implemented an evaluation methodology based 768 on the notion of information nuggets to assess answers to complex questions. As it has become the de facto standard for evaluating such systems the research community stands to benefit from a better understanding of the characteristics of this evaluation methodology. This paper explores recent refinements to the .
Huy Kha
62
8
pdf
Báo lỗi
Trùng lắp nội dung
Văn hóa đồi trụy
Phản động
Bản quyền
File lỗi
Khác
Upload
Tải xuống
đang nạp các trang xem trước
Bấm vào đây để xem trước nội dung
Tải xuống
TÀI LIỆU LIÊN QUAN
Evaluation of different growth media for Clavibacter michiganensis subsp michiganensis and formation of biofilm like structures
10
36
1
Báo cáo khoa học: "Different Structures for Evaluating Answers to Complex Questions: Pyramids Won’t Topple, and Neither Will Human Assessors"
8
51
0
Correlation studies of growth and flowering of Dendrobium cv. sonia with microclimatic variables in different protected structures
9
93
0
Báo cáo y học: " The retroviral RNA dimer linkage: different structures may reflect different roles"
10
26
0
Evaluation of different fabricated mountages for various cocoon reeling parameters of silkworm, Bombyx mori L.
8
78
0
Hair follicle regional specificity in different parts of bay Mongolian horse by histology and transcriptional profiling
10
41
1
Behaviour of Electromagnetic Waves in Different Media and Structures Part 1
30
34
0
Behaviour of Electromagnetic Waves in Different Media and Structures Part 2
1
33
0
Behaviour of Electromagnetic Waves in Different Media and Structures Part 3
30
37
0
Behaviour of Electromagnetic Waves in Different Media and Structures Part 4
30
32
0
TÀI LIỆU XEM NHIỀU
Một Case Về Hematology (1)
8
462080
59
Giới thiệu :Lập trình mã nguồn mở
14
23860
75
Tiểu luận: Tư tưởng Hồ Chí Minh về xây dựng nhà nước trong sạch vững mạnh
13
11130
537
Câu hỏi và đáp án bài tập tình huống Quản trị học
14
10376
458
Phân tích và làm rõ ý kiến sau: “Bài thơ Tự tình II vừa nói lên bi kịch duyên phận vừa cho thấy khát vọng sống, khát vọng hạnh phúc của Hồ Xuân Hương”
3
9656
106
Ebook Facts and Figures – Basic reading practice: Phần 1 – Đặng Tuấn Anh (Dịch)
249
8664
1151
Tiểu luận: Nội dung tư tưởng Hồ Chí Minh về đạo đức
16
8363
423
Mẫu đơn thông tin ứng viên ngân hàng VIB
8
7947
2250
Đề tài: Dự án kinh doanh thời trang quần áo nữ
17
6992
260
Giáo trình Tư tưởng Hồ Chí Minh - Mạch Quang Thắng (Dành cho bậc ĐH - Không chuyên ngành Lý luận chính trị)
152
6791
1614
TỪ KHÓA LIÊN QUAN
Báo cáo khoa học
Different Structures
Evaluating Answers to Complex Questions Pyramids Won’t Topple
Neither Will Human Assessors
báo cáo khoa học
mô hình ngôn ngữ
xử lý ngôn ngữ tự nhiên
Growth medium
Biofilm like structures formation
Different growth media
Clavibacter michiganensis subsp michiganensis
Formation of biofilm like structures
Protected structure
Correlation studies
Growth and flowering
Microclimatic variables
Different protected structures
trình bày báo cáo
tài liệu báo cáo khoa học
báo cáo y học
kiến thức y học
nghiên cứu y học
Self mounting structures
Mountages and cocoon reeling parameters
Cocoon reeling parameters
Bombyx mori L
Different fabricated mountages
BMC Genomics
Mongolian horse
Hair follicle
Different morphological structures
Animals survive
Rare kinds
cơ khí chế tạo máy
hướng dẫn cơ khí
tài liệu cơ khí
ôn thi cơ khí
sổ tay cơ khí
Báo cáo lâm nghiệp hay
cách trình bày báo cáo
báo cáo lâm nghiệp
công trình nghiên cứu lâm nghiệp
tài liệu về lâm nghiệp
Scientific reports
scientific research
molecular Biology
neutrophil
environmental medicine
biological cells
The kernels task list
Multi tasking
Task descriptors
Switching to a different stack
Supporting structures
The Linux process descriptor
TÀI LIỆU MỚI ĐĂNG
TƯƠNG QUAN GIỮA MÔ HỌC, GIẢI PHẪU VÀ HÌNH ẢNH CỦA CÁC KHỐI U PHẦN PHỤ
3
195
1
02-07-2024
Bơm máy nén quạt trong công nghiệp part 8
20
232
3
02-07-2024
Đóng mới oto 8 chỗ ngồi part 9
10
147
1
02-07-2024
HƯỚNG DẪN SỬ DỤNG PHẦN MỀM CAITA part 9
18
160
0
02-07-2024
MẪU CHỨNG CHỈ QUẢN LÝ VŨ KHÍ, VẬT LIỆU NỔ, CCHT
1
145
0
02-07-2024
Báo cáo nghiên cứu nông nghiệp " Biofertiliser inoculant technology for the growth of rice in Vietnam: Developing technical infrastructure for quality assurance and village production for farmers "
12
113
0
02-07-2024
Thương hiệu sản phẩm làng nghề: Đã ít, lại thiếu tính cạnh tranh
5
141
0
02-07-2024
BÀI GIẢNG Biến Đổi Năng Lượng Điện Cơ - TS. Hồ Phạm Huy
137
124
0
02-07-2024
Báo cáo y học: "Aggrecanases and cartilage matrix degradation"
10
126
0
02-07-2024
Báo cáo " Thẩm quyền quản lí nhà nước đối với hoạt động quảng cáo thực trạng và hướng hoàn thiện "
7
178
5
02-07-2024
TÀI LIỆU HOT
Mẫu đơn thông tin ứng viên ngân hàng VIB
8
7947
2250
Giáo trình Tư tưởng Hồ Chí Minh - Mạch Quang Thắng (Dành cho bậc ĐH - Không chuyên ngành Lý luận chính trị)
152
6791
1614
Ebook Chào con ba mẹ đã sẵn sàng
112
4032
1303
Ebook Tuyển tập đề bài và bài văn nghị luận xã hội: Phần 1
62
5725
1196
Ebook Facts and Figures – Basic reading practice: Phần 1 – Đặng Tuấn Anh (Dịch)
249
8664
1151
Giáo trình Văn hóa kinh doanh - PGS.TS. Dương Thị Liễu
561
3656
667
Giáo trình Sinh lí học trẻ em: Phần 1 - TS Lê Thanh Vân
122
3849
601
Giáo trình Pháp luật đại cương: Phần 1 - NXB ĐH Sư Phạm
274
4421
548
Tiểu luận: Tư tưởng Hồ Chí Minh về xây dựng nhà nước trong sạch vững mạnh
13
11130
537
Bài tập nhóm quản lý dự án: Dự án xây dựng quán cafe
35
4306
483
Đã phát hiện trình chặn quảng cáo AdBlock
Trang web này phụ thuộc vào doanh thu từ số lần hiển thị quảng cáo để tồn tại. Vui lòng tắt trình chặn quảng cáo của bạn hoặc tạm dừng tính năng chặn quảng cáo cho trang web này.