TAILIEUCHUNG - Báo cáo khoa học: "An Information-Theory-Based Feature Type Analysis for the Modelling of Statistical Parsing"

The paper proposes an information-theorybased method for feature types analysis in probabilistic evaluation modelling for statistical parsing. The basic idea is that we use entropy and conditional entropy to measure whether a feature type grasps some of the information for syntactic structure prediction. Our experiment quantitatively analyzes several feature types’ power for syntactic structure prediction and draws a series of interesting conclusions. | An Information-Theory-Based Feature Type Analysis for the Modelling of Statistical Parsing SUI Zhifang tt ZHAO Jun f Dekai WU f Hong Kong University of Science Technology Department of Computer Science Human Language Technology Center Clear Water Bay Hong Kong Peking University Department of Computer Science Technology Institute of Computational Linguistics Beijing China suizf@ zhaojun@ dekai@ Abstract The paper proposes an information-theorybased method for feature types analysis in probabilistic evaluation modelling for statistical parsing. The basic idea is that we use entropy and conditional entropy to measure whether a feature type grasps some of the information for syntactic structure prediction. Our experiment quantitatively analyzes several feature types power for syntactic structure prediction and draws a series of interesting conclusions. 1 Introduction In the field of statistical parsing various probabilistic evaluation models have been proposed where different models use different feature types Black 1992 Briscoe 1993 Brown 1991 Charniak 1997 Collins 1996 Collins 1997 Magerman 1991 Magerman 1992 Magerman 1995 Eisner 1996 . How to evaluate the different feature types effects for syntactic parsing The paper proposes an information-theory-based feature types analysis model which uses the measures of predictive information quantity predictive information gain predictive information redundancy and predictive information summation to quantitatively analyse the different contextual feature types or feature types combination s predictive power for syntactic structure. In the following Section 2 describes the probabilistic evaluation model for syntactic trees Section 3 proposes an information-theory-based feature type analysis model Section 4 introduces several experimental issues Section 5 quantitatively analyses the different contextual feature types or feature types combination in the view of information theory and draws a .

• Báo cáo khoa học
• An Information Theory Based
• Feature Type Analysis
• the Modelling of Statistical Parsing
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học