TAILIEUCHUNG - Báo cáo khoa học: "Using Confidence Bands for Parallel Texts Alignment"

Alignment is usually done by finding correspondence points – sequences of characters with the same form in both texts (homographs, . numbers, proper names, punctuation marks), similar forms (cognates, like Region and Região in English and Portuguese, respectively) or even previously known translations. Pascale Fung and Kathleen McKeown (1997) present an alignment algorithm that uses term translations as correspondence points between English and Chinese. | Using Confidence Bands for Parallel Texts Alignment António RIBEIRO Departamento de Informatica Faculdade de Ciências e Tecnologia Universidade Nova de Lisboa Quinta da Torre P-2825-114 Monte da Caparica Portugal ambar@ Gabriel LOPES Departamento de Informática Faculdade de Ciências e Tecnologia Universidade Nova de Lisboa Quinta da Torre P-2825-114 Monte da Caparica Portugal gpl@ João MEXIA Departamento de Matemática Faculdade de Ciências e Tecnologia Universidade Nova de Lisboa Quinta da Torre P-2825-114 Monte da Caparica Portugal Abstract This paper describes a language independent method for alignment of parallel texts that makes use of homograph tokens for each pair of languages. In order to filter out tokens that may cause misalignment we use confidence bands of linear regression lines instead of heuristics which are not theoretically supported. This method was originally inspired on work done by Pascale Fung and Kathleen McKeown and Melamed providing the statistical support those authors could not claim. Introduction Human compiled bilingual dictionaries do not cover every term translation especially when it comes to technical domains. Moreover we can no longer afford to waste human time and effort building manually these ever changing and incomplete databases or design language specific applications to solve this problem. The need for an automatic language independent task for equivalents extraction becomes clear in multilingual regions like Hong Kong Macao Quebec the European Union where texts must be translated daily into eleven languages or even in the . where Spanish and English speaking communities are intermingled. Parallel texts texts that are mutual translations are valuable sources of information for bilingual lexicography. However they are not of much use unless a computational system may find which piece of text in one language corresponds to which piece of text in the other language. In order to achieve this they .

• Báo cáo khoa học
• Using Confidence Bands
• Parallel Texts Alignment
• Long Papers
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học