TAILIEUCHUNG - Báo cáo khoa học: "Pivot Approach for Extracting Paraphrase Patterns from Bilingual Corpora"

Paraphrase patterns are useful in paraphrase recognition and generation. In this paper, we present a pivot approach for extracting paraphrase patterns from bilingual parallel corpora, whereby the English paraphrase patterns are extracted using the sentences in a foreign language as pivots. We propose a loglinear model to compute the paraphrase likelihood of two patterns and exploit feature functions based on maximum likelihood estimation (MLE) and lexical weighting (LW). Using the presented method, we extract over 1,000,000 pairs of paraphrase patterns from 2M bilingual sentence pairs, the precision of which exceeds 67%. . | Pivot Approach for Extracting Paraphrase Patterns from Bilingual Corpora Shiqi Zhao1 Haifeng Wang2 Ting Liu1 Sheng Li1 1Harbin Institute of Technology Harbin China zhaosq tliu lisheng @ 2Toshiba China Research and Development Center Beijing China wanghaifeng@ Abstract Paraphrase patterns are useful in paraphrase recognition and generation. In this paper we present a pivot approach for extracting paraphrase patterns from bilingual parallel corpora whereby the English paraphrase patterns are extracted using the sentences in a foreign language as pivots. We propose a log-linear model to compute the paraphrase likelihood of two patterns and exploit feature functions based on maximum likelihood estimation MLE and lexical weighting LW . Using the presented method we extract over 1 000 000 pairs of paraphrase patterns from 2M bilingual sentence pairs the precision of which exceeds 67 . The evaluation results show that 1 The pivot approach is effective in extracting paraphrase patterns which significantly outperforms the conventional method DIRT. Especially the log-linear model with the proposed feature functions achieves high performance. 2 The coverage of the extracted paraphrase patterns is high which is above 84 . 3 The extracted paraphrase patterns can be classified into 5 types which are useful in various applications. 1 Introduction Paraphrases are different expressions that convey the same meaning. Paraphrases are important in plenty of natural language processing NLP applications such as question answering QA Lin and Pantel 2001 Ravichandran and Hovy 2002 machine translation MT Kauchak and Barzilay 2006 Callison-Burch et al. 2006 multi-document summarization McKeown et al. 2002 and natural language generation Iordanskaja et al. 1991 . Paraphrase patterns are sets of semantically equivalent patterns in which a pattern generally contains two parts . the pattern words and slots. For example in the pattern X solves Y solves is the .

• Báo cáo khoa học
• Pivot Approach for Extracting Paraphrase Patterns
• Bilingual Corpora
• Shiqi Zhao
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học