TAILIEUCHUNG - Báo cáo khoa học: "Reliable Measures for Aligning Japanese-English News Articles and Sentences"

We have aligned Japanese and English news articles and sentences to make a large parallel corpus. We first used a method based on cross-language information retrieval (CLIR) to align the Japanese and English articles and then used a method based on dynamic programming (DP) matching to align the Japanese and English sentences in these articles. However, the results included many incorrect alignments. | Reliable Measures for Aligning Japanese-English News Articles and Sentences Masao Utiyama and Hitoshi Isahara Communications Research Laboratory 3-5 Hikari-dai Seika-cho Souraku-gun Kyoto 619-0289 Japan mutiyama@ and isahara@ Abstract We have aligned Japanese and English news articles and sentences to make a large parallel corpus. We first used a method based on cross-language information retrieval CLIR to align the Japanese and English articles and then used a method based on dynamic programming DP matching to align the Japanese and English sentences in these articles. However the results included many incorrect alignments. To remove these we propose two measures scores that evaluate the validity of alignments. The measure for article alignment uses similarities in sentences aligned by DP matching and that for sentence alignment uses similarities in articles aligned by CLIR. They enhance each other to improve the accuracy of alignment. Using these measures we have successfully constructed a large-scale article and sentence alignment corpus available to the public. 1 Introduction A large-scale Japanese-English parallel corpus is an invaluable resource in the study of natural language processing NLP such as machine translation and cross-language information retrieval CLIR . It is also valuable for language education. However no such corpus has been available to the public. We recently have obtained a noisy parallel corpus of Japanese and English newspapers consisting of issues published over more than a decade and have tried to align their articles and sentences. We first aligned the articles using a method based on CLIR Collier et al. 1998 Matsumoto and Tanaka 2002 and then aligned the sentences in these articles by using a method based on dynamic programming DP matching Gale and Church 1993 Utsuro et al. 1994 . However the results included many incorrect alignments due to noise in the corpus. To remove these we propose two measures scores that .

• Báo cáo khoa học
• Reliable Measures
• Aligning Japanese English
• News Articles and Sentences
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• trình bày báo cáo
• tài liệu báo cáo khoa học
• báo cáo y học
• nghiên cứu y học
• kiến thức y học
• BMC Psychology
• Evidence based practices
• Psychometric properties
• Implementation Leadership Scale
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học