TAILIEUCHUNG - Báo cáo khoa học: "The OpenGrm open-source finite-state grammar software libraries"

In this paper, we present a new collection of open-source software libraries that provides command line binary utilities and library classes and functions for compiling regular expression and context-sensitive rewrite rules into finite-state transducers, and for n-gram language modeling. The OpenGrm libraries use the OpenFst library to provide an efficient encoding of grammars and general algorithms for building, modifying and applying models. | The OpenGrm open-source finite-state grammar software libraries Brian Roark Richard Sproat Cyril Allauzen0 Michael Riley0 Jeffrey Sorensen0 Terry Tai Oregon Health Science University Portland Oregon Google Inc. New York Abstract In this paper we present a new collection of open-source software libraries that provides command line binary utilities and library classes and functions for compiling regular expression and context-sensitive rewrite rules into finite-state transducers and for n-gram language modeling. The OpenGrm libraries use the OpenFst library to provide an efficient encoding of grammars and general algorithms for building modifying and applying models. 1 Introduction The OpenGrm libraries1 are a growing collection of open-source software libraries for building and applying various kinds of formal grammars. The C libraries use the OpenFst library2 for the underlying finite-state representation which allows for easy inspection of the resulting grammars and models as well as straightforward combination with other finite-state transducers. Like OpenFst there are easy-to-use command line binaries for frequently used operations as well as a C library interface allowing library users to create their own algorithms from the basic classes and functions provided. The libraries can be used for a range of common string processing tasks such as text normalization as well as for building and using large statistical models for applications like speech recognition. In the rest of the paper we will present each of the two libraries starting with the Thrax grammar compiler and then the NGram library. First though we will briefly present some preliminary informal background on weighted finite-state transducers WFST just as needed for this paper. 1http 2http 61 2 Informal WFST preliminaries A weighted finite-state transducer consists of a set of states and transitions between states. There is an initial state and a subset of states are .

• Báo cáo khoa học
• The OpenGrm open source finite state grammar software libraries
• Brian Roark
• Richard Sproat
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball