TAILIEUCHUNG - Báo cáo khoa học: "Learning Common Grammar from Multilingual Corpus"

We propose a corpus-based probabilistic framework to extract hidden common syntax across languages from non-parallel multilingual corpora in an unsupervised fashion. For this purpose, we assume a generative model for multilingual corpora, where each sentence is generated from a language dependent probabilistic contextfree grammar (PCFG), and these PCFGs are generated from a prior grammar that is common across languages. | Learning Common Grammar from Multilingual Corpus Tomoharu Iwata Daichi Mochihashi Hiroshi Sawada NTT Communication Science Laboratories 2-4 Hikaridai Seika-cho Soraku-gun Kyoto Japan iwata daichi sawada @ Abstract We propose a corpus-based probabilistic framework to extract hidden common syntax across languages from non-parallel multilingual corpora in an unsupervised fashion. For this purpose we assume a generative model for multilingual corpora where each sentence is generated from a language dependent probabilistic context-free grammar PCFG and these PCFGs are generated from a prior grammar that is common across languages. We also develop a variational method for efficient inference. Experiments on a non-parallel multilingual corpus of eleven languages demonstrate the feasibility of the proposed method. 1 Introduction Languages share certain common properties Pinker 1994 . For example the word order in most European languages is subject-verb-object SVO and some words with similar forms are used with similar meanings in different languages. The reasons for these common properties can be attributed to 1 a common ancestor language 2 borrowing from nearby languages and 3 the innate abilities of humans Chomsky 1965 . We assume hidden commonalities in syntax across languages and try to extract a common grammar from non-parallel multilingual corpora. For this purpose we propose a generative model for multilingual grammars that is learned in an unsupervised fashion. There are some computational models for capturing commonalities at the phoneme and word level Oakes 2000 Bouchard-Cote et al. 2008 but as far as we know no attempt has been made to extract commonalities in syntax level from non-parallel and non-annotated multilingual corpora. In our scenario we use probabilistic context-free grammars PCFGs as our monolingual grammar model. We assume that a PCFG for each language is generated from a general model that are common across languages and each .

• Báo cáo khoa học
• Learning Common Grammar
• Multilingual Corpus
• v Tomoharu Iwata Daichi Mochihashi Hiroshi Sawada
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• english vocabulary common
• basic English grammar
• basic english
• basic english common
• basic learning English
• Common reading techniques for English language readers
• English language readers
• Important learning skills
• Lack of vocabulary and grammar
• Lack of the reader’s background knowledge
• basic english communication
• intensive English learning
• English conversation
• English vocabulary
• grammar
• common vocabulary
• vocabulary
• communication
• experience learning a foreign language
• French grammar
• learn basic english
• general english
• english common vocabulary
• foreign language
• he tiieng
• english
• Wagner
• writing
• reference book
• englissh grammar
• basic question
• English skills
• English learning method
• reference english
• language learning or
• He documents common
• he written for everyone
• English grammar
• office in a foreign language
• learning a foreign language
• english verbs
• sentence structure
• errors in english
• writing skills
• tips on learning English
• pronunciation
• reading
• English mistakes
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball