TAILIEUCHUNG - Báo cáo khoa học: "Joint Hebrew Segmentation and Parsing using a PCFG-LA Lattice Parser"

We experiment with extending a lattice parsing methodology for parsing Hebrew (Goldberg and Tsarfaty, 2008; Golderg et al., 2009) to make use of a stronger syntactic model: the PCFG-LA Berkeley Parser. We show that the methodology is very effective: using a small training set of about 5500 trees, we construct a parser which parses and segments unsegmented Hebrew text with an F-score of almost 80%, an error reduction of over 20% over the best previous result for this task. | Joint Hebrew Segmentation and Parsing using a PCFG-LA Lattice Parser Yoav Goldberg and Michael Elhadad Ben Gurion University of the Negev Department of Computer Science POB 653 Be er Sheva 84105 Israel yoavg elhadad @ Abstract We experiment with extending a lattice parsing methodology for parsing Hebrew Goldberg and Tsarfaty 2008 Golderg et al. 2009 to make use of a stronger syntactic model the PCFG-LA Berkeley Parser. We show that the methodology is very effective using a small training set of about 5500 trees we construct a parser which parses and segments unsegmented Hebrew text with an F-score of almost 80 an error reduction of over 20 over the best previous result for this task. This result indicates that lattice parsing with the Berkeley parser is an effective methodology for parsing over uncertain inputs. 1 Introduction Most work on parsing assumes that the lexical items in the yield of a parse tree are fully observed and correspond to space delimited tokens perhaps after a deterministic preprocessing step of tokeniza-tion. While this is mostly the case for English the situation is different in languages such as Chinese in which word boundaries are not marked and the Semitic languages of Hebrew and Arabic in which various particles corresponding to function words are agglutinated as affixes to content bearing words sharing the same space-delimited token. For example the Hebrew token bcl1 can be interpreted as the single noun meaning onion or as a sequence of a preposition and a noun b-cl meaning in the shadow . In such languages the sequence of lexical 1 We adopt here the transliteration scheme of Sima an et al. 2001 704 items corresponding to an input string is ambiguous and cannot be determined using a deterministic procedure. In this work we focus on constituency parsing of Modern Hebrew henceforth Hebrew from raw unsegmented text. A common method of approaching the discrepancy between input strings and space delimited tokens is using a .

• Báo cáo khoa học
• Joint Hebrew Segmentation
• Parsing using a PCFG LA Lattice Parser
• Yoav Goldberg and Michael Elhadad Ben Gurion
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball