TAILIEUCHUNG - Báo cáo khoa học: "Adding Noun Phrase Structure to the Penn Treebank"

The Penn Treebank does not annotate within base noun phrases (NPs), committing only to flat structures that ignore the complexity of English NPs. This means that tools trained on Treebank data cannot learn the correct internal structure of NPs. This paper details the process of adding gold-standard bracketing within each noun phrase in the Penn Treebank. We then examine the consistency and reliability of our annotations. Finally, we use this resource to determine NP structure using several statistical approaches, thus demonstrating the utility of the corpus. This adds detail to the Penn Treebank that is necessary for many NLP. | Adding Noun Phrase Structure to the Penn Treebank David Vadas and James R. Curran School of Information Technologies University of Sydney NSW 2006 Australia dvadasl james @ Abstract The Penn Treebank does not annotate within base noun phrases NPs committing only to flat structures that ignore the complexity of English NPs. This means that tools trained on Treebank data cannot learn the correct internal structure of NPs. This paper details the process of adding gold-standard bracketing within each noun phrase in the Penn Treebank. We then examine the consistency and reliability of our annotations. Finally we use this resource to determine NP structure using several statistical approaches thus demonstrating the utility of the corpus. This adds detail to the Penn Treebank that is necessary for many NLP applications. 1 Introduction The Penn Treebank Marcus et al. 1993 is perhaps the most influential resource in Natural Language Processing NLP . It is used as a standard training and evaluation corpus in many syntactic analysis tasks ranging from part of speech POS tagging and chunking to full parsing. Unfortunately the Penn Treebank does not annotate the internal structure of base noun phrases instead leaving them flat. This significantly simplified and sped up the manual annotation process. Therefore any system trained on Penn Treebank data will be unable to model the syntactic and semantic structure inside base-NPs. 240 The following NP is an example of the flat structure of base-NPs within the Penn Treebank NP NNP Air NNP Force NN contract Air Force is a specific entity and should form a separate constituent underneath the NP as in our new annotation scheme NP NML NNP Air NNP Force NN contract We use NML to specify that Air Force together is a nominal modifier of contract. Adding this annotation better represents the true syntactic and semantic structure which will improve the performance of downstream NLP systems. Our main contribution is a .

• Báo cáo khoa học
• Adding Noun Phrase Structure
• Penn Treebank
• David Vadas and James R
• Curran
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học