TAILIEUCHUNG - Báo cáo khoa học: "Convolution Kernel over Packed Parse Forest"

This paper proposes a convolution forest kernel to effectively explore rich structured features embedded in a packed parse forest. As opposed to the convolution tree kernel, the proposed forest kernel does not have to commit to a single best parse tree, is thus able to explore very large object spaces and much more structured features embedded in a forest. This makes the proposed kernel more robust against parsing errors and data sparseness issues than the convolution tree kernel. | Convolution Kernel over Packed Parse Forest Min Zhang Hui Zhang Haizhou Li Institute for Infocomm Research A-STAR Singapore mzhang vishz hli @ Abstract This paper proposes a convolution forest kernel to effectively explore rich structured features embedded in a packed parse forest. As opposed to the convolution tree kernel the proposed forest kernel does not have to commit to a single best parse tree is thus able to explore very large object spaces and much more structured features embedded in a forest. This makes the proposed kernel more robust against parsing errors and data sparseness issues than the convolution tree kernel. The paper presents the formal definition of convolution forest kernel and also illustrates the computing algorithm to fast compute the proposed convolution forest kernel. Experimental results on two NLP applications relation extraction and semantic role labeling show that the proposed forest kernel significantly outperforms the baseline of the convolution tree kernel. 1 Introduction Parse tree and packed forest of parse trees are two widely used data structures to represent the syntactic structure information of sentences in natural language processing NLP . The structured features embedded in a parse tree have been well explored together with different machine learning algorithms and proven very useful in many NLP applications Collins and Duffy 2002 Moschitti 2004 Zhang et al. 2007 . A forest Tomita 1987 compactly encodes an exponential number of parse trees. In this paper we study how to effectively explore structured features embedded in a forest using convolution kernel Haussler 1999 . As we know feature-based machine learning methods are less effective in modeling highly structured objects Vapnik 1998 such as parse tree or semantic graph in NLP. This is due to the fact that it is usually very hard to represent struc tured objects using vectors of reasonable dimensions without losing too much information. For example it

• Báo cáo khoa học
• Convolution Kernel
• Packed Parse Forest
• Min Zhang Hui Zhang Haizhou Li
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• A Hybrid Convolution Tree Kernel
• Semantic Role Labeling
• Wanxiang Che Harbin
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• A Grammar driven
• Convolution Tree Kernel
• Semantic Role Classification
• BMC Anesthesiology
• Lung quantitative computed tomography
• Computed tomograph
• Reconstruction parameters
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball