TAILIEUCHUNG - Báo cáo khoa học: "A language−independent shallow−parser Compiler"

We present a rule−based shallow− parser compiler, which allows to generate a robust shallow−parser for any language, even in the absence of training data, by resorting to a very limited number of rules which aim at identifying constituent boundaries. We contrast our approach to other approaches used for shallow−parsing (. finite−state and probabilistic methods). We present an evaluation of our tool for English (Penn Treebank) and for French (newspaper corpus "LeMonde") for several tasks (NP−chunking & "deeper" parsing) . . | A language-independent shallow-parser Compiler Alexandra Kinyon CIS Dpt. . University of Pennsylvania kinyon@ http kinyon Abstract We present a rule-based shallowparser compiler which allows to generate a robust shallow-parser for any language even in the absence of training data by resorting to a very limited number of rules which aim at identifying constituent boundaries. We contrast our approach to other approaches used for shallow-parsing . finite-state and probabilistic methods . We present an evaluation of our tool for English Penn Treebank and for French newspaper corpus LeMonde for several tasks NP-chunking deeper parsing . 1 Introduction Full syntactic parsers of unrestricted text are costly to develop costly to run and often yield errors because of lack of robustness of wide-coverage grammars and problems of attachment. This has led as early as 1958 Joshi Hopely 97 to the development of shallow-parsers which aim at identifying as quickly and accurately as possible main constituents and possibly syntactic functions in an input without dealing with the most difficult problems encountered with full-parsing . Hence shallow-parsers are very practical tools. There are two main techniques used to develop shallow-parsers 1- Probabilistic techniques . Magerman 94 Ratnaparkhi 97 Daelmans al. 99 2- Finite-state techniques . Grefenstette 96 Probabilistic techniques require large amounts of syntactically-annotated training data1 which makes them very unsuitable for languages for which no such data is available . most languages except English and also they are not domain-independent nor style-independent . they do not allow to successfully shallowparse speech if no annotated data is available for that style . Finally a shallow-parser developed using these techniques will have to mirror the information contained in the training data. For instance if one trains such a tool on data were only non recursive NP chunks are .

• Báo cáo khoa học
• A language−independent
• shallow−parser Compiler
• Alexandra Kinyon
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học