TAILIEUCHUNG - Báo cáo khoa học: "Issues Concerning Decoding with Synchronous Context-free Grammar"

We discuss some of the practical issues that arise from decoding with general synchronous context-free grammars. We examine problems caused by unary rules and we also examine how virtual nonterminals resulting from binarization can best be handled. We also investigate adding more flexibility to synchronous context-free grammars by adding glue rules and phrases. | Issues Concerning Decoding with Synchronous Context-free Grammar Tagyoung Chung Licheng Fang and Daniel Gildea Department of Computer Science University of Rochester Rochester NY 14627 Abstract We discuss some of the practical issues that arise from decoding with general synchronous context-free grammars. We examine problems caused by unary rules and we also examine how virtual nonterminals resulting from binarization can best be handled. We also investigate adding more flexibility to synchronous context-free grammars by adding glue rules and phrases. 1 Introduction Synchronous context-free grammar SCFG is widely used for machine translation. There are many different ways to extract SCFGs from data. Hiero Chiang 2005 represents a more restricted form of SCFG while GHKM Galley et al. 2004 uses a general form of SCFG. In this paper we discuss some of the practical issues that arise from decoding general SCFGs that are seldom discussed in the literature. We focus on parsing grammars extracted using the method put forth by Galley et al. 2004 but the solutions to these issues are applicable to other general forms of SCFG with many nonterminals. The GHKM grammar extraction method produces a large number of unary rules. Unary rules are the rules that have exactly one nonterminal and no terminals on the source side. They may be problematic for decoders since they may create cycles which are unary production chains that contain duplicated dynamic programming states. In later sections we discuss why unary rules are problematic and investigate two possible solutions. 413 GHKM grammars often have rules with many right-hand-side nonterminals and require binarization to ensure O n3 time parsing. However binarization creates a large number of virtual nonterminals. We discuss the challenges of and possible solutions to issues arising from having a large number of virtual nonterminals. We also compare binarizing the grammar with filtering rules according to scope a concept .

• Báo cáo khoa học
• Issues Concerning Decoding
• Synchronous Context free Grammar
• Tagyoung Chung
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball