TAILIEUCHUNG - Báo cáo khoa học: "A Unified Single Scan Algorithm for Japanese Base Phrase Chunking and Dependency Parsing"

We describe an algorithm for Japanese analysis that does both base phrase chunking and dependency parsing simultaneously in linear-time with a single scan of a sentence. In this paper, we show a pseudo code of the algorithm and evaluate its performance empirically on the Kyoto University Corpus. Experimental results show that the proposed algorithm with the voted perceptron yields reasonably good accuracy. | A Unified Single Scan Algorithm for Japanese Base Phrase Chunking and Dependency Parsing Manabu Sassano Yahoo Japan Corporation Midtown Tower 9-7-1 Akasaka Minato-ku Tokyo 107-6211 Japan msassano@ Sadao Kurohashi Graduate School of Informatics Kyoto University Yoshida-honmachi Sakyo-ku Kyoto 606-8501 Japan kuro@ Abstract We describe an algorithm for Japanese analysis that does both base phrase chunking and dependency parsing simultaneously in linear-time with a single scan of a sentence. In this paper we show a pseudo code of the algorithm and evaluate its performance empirically on the Kyoto University Corpus. Experimental results show that the proposed algorithm with the voted perceptron yields reasonably good accuracy. 1 Introduction Single scan algorithms of parsing are important for interactive applications of NLP. For instance such algorithms would be more suitable for robots accepting speech inputs or chatbots handling natural language inputs which should respond quickly in some situations even when human inputs are not clearly ended. Japanese sentence analysis typically consists of three major steps namely morphological analysis bunsetsu base phrase chunking and dependency parsing. In this paper we describe a novel algorithm that combines the last two steps into a single scan process. The algorithm which is an extension of Sassano s 2004 allows us to chunk morphemes into base phrases and decide dependency relations of the phrases in a strict left-to-right manner. We show a pseudo code of the algorithm and evaluate its performance empirically with the voted perceptron on the Kyoto University Corpus Kurohashi and Nagao 1998 . 2 Japanese Sentence Structure In Japanese NLP it is often assumed that the structure of a sentence is given by dependency relations Meg-ga kare-ni ano pen-wo age-ta. Meg-subj to him that pen-acc give-past. ID 0 12 3 4 Head 4 4 3 4 - Figure 1 Sample sentence bunsetsu-based among bunsetsus. A bunsetsu is a base

• Báo cáo khoa học
• A Unified Single Scan Algorithm
• Japanese Base Phrase Chunking
• Dependency Parsing
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học