TAILIEUCHUNG - Báo cáo khoa học: "A DOM Tree Alignment Model for Mining Parallel Data from the Web"

This paper presents a new web mining scheme for parallel data acquisition. Based on the Document Object Model (DOM), a web page is represented as a DOM tree. Then a DOM tree alignment model is proposed to identify the translationally equivalent texts and hyperlinks between two parallel DOM trees. By tracing the identified parallel hyperlinks, parallel web documents are recursively mined. Compared with previous mining schemes, the benchmarks show that this new mining scheme improves the mining coverage, reduces mining bandwidth, and enhances the quality of mined parallel sentences. web site) domain, showing that of 150,000 websites in the. | A DOM Tree Alignment Model for Mining Parallel Data from the Web Lei Shi1 Cheng Niu1 Ming Zhou1 and Jianfeng Gao2 Microsoft Research Asia 5F Sigma Center 49 Zhichun Road Beijing 10080 P. R. China 2Microsoft Research One Microsoft Way Redmond WA 98052 USA leishi chengniu mingzhou jfgao @ Abstract This paper presents a new web mining scheme for parallel data acquisition. Based on the Document Object Model DOM a web page is represented as a DOM tree. Then a DOM tree alignment model is proposed to identify the transla-tionally equivalent texts and hyperlinks between two parallel DOM trees. By tracing the identified parallel hyperlinks parallel web documents are recursively mined. Compared with previous mining schemes the benchmarks show that this new mining scheme improves the mining coverage reduces mining bandwidth and enhances the quality of mined parallel sentences. 1 Introduction Parallel bilingual corpora are critical resources for statistical machine translation Brown 1993 and cross-lingual information retrieval Nie 1999 . Additionally parallel corpora have been exploited for various monolingual natural language processing NLP tasks such as wordsense disambiguation Ng 2003 and paraphrase acquisition Callison 2005 . However large scale parallel corpora are not readily available for most language pairs. Even where resources are available such as for English-French the data are usually restricted to government documents . the Hansard corpus which consists of French-English translations of debates in the Canadian parliament or newswire texts. The governmentese that characterizes these document collections cannot be used on its own to train data-driven machine translation systems for a range of domains and language pairs. With a sharply increasing number of bilingual web sites web mining for parallel data becomes a promising solution to this knowledge acquisition problem. In an effort to estimate the amount of bilingual data on the web Ma and Liberman

• Báo cáo khoa học
• A DOM Tree Alignment Model
• Mining Parallel Data
• the Web
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học