TAILIEUCHUNG - Báo cáo khoa học: "Combining Stochastic and Rule-Based Methods for Disambiguation in Agglutinative Languages"

En aquest article presentem els resultats de la combinaci6 de m~todes estoc/lstics i basats en regles aplicats a la desambiguaci6 morfosinthcfica de l'euskara. Els m6todes utilitzats per a la desambiguaci6 s6n: les Gramhtiques de Restrictions (CG) i l'etiquetador basat en HMM del projecte MULTEXT. E1 carhcter aglutinant de l'euskara fa necessari la utilitzaci6 d'un analitzador morfolbgic per assignar a cada paraula totes les seves interpretacions. Les regles de CG s'apliquen utilitzant la informaci6 morfol6gica completa i aquest proc6s redueix parcialment rambigtiitat dels textos. . | Combining Stochastic and Rule-Based Methods for Disambiguation in Agglutinative Languages Ezeiza N. Alegria I. Arriola . Urizar R. Aduriz I. Informatika Fakultatea UZEI 649 Donostia E-20080 Aldapeta 20. jibecran@ Donostia E-20009 http uzei@ Laburpena Artikulu honetan metodo estokastiko eta erregeletan oinarritutako metodoen arteko konbinaketa euskarari aplikatzearen emaitzak aurkeztuko erabilitako metodoak Murrizpen Gramatika CG eta MULTEXT proiektuak garatutako HMMn oinarritutako etiketatzailea dira. Euskara hizkuntza eranskaria izaki hitz bakoitzari dagozkion irakurketa guztiak esleitzeko analizatzaile morfologikoa beharrezkoa da. Ondoren CG erregelak informazio morfologiko guztiari aplikatzen zaizkio eta prozesu honek testuen anbiguotasuna gutxitzen du. Azkenik geratutako etiketen artean bakarra hautatzeko MULTEXT proiektuko tresnak erabiltzen dira. Metodo estokastikoa soilik erabiltzean errore-tasa 14 ingurukoa da baina etiketatzailearen doitasuna hitz ezezagunekin lexikoa aberastuz gero 2 hobe daitekeen arren. Metodo biak konbinatzen direnean berriz prozesu osoaren errore-tasa da. Ikasketarako corpusa nahikoa txikia dela HMM eredua lehenengo mailakoa eta euskararako Murrizpen Gramatika oraindik ere garapen prozesuan dagoela kontuan izanik gure ustez metodo konbinatu hau erabilita emaitza onak lor daitezke eta beste hizkuntza eranskarietarako bereziki egokia izan daiteke. Resum En aquest article presentem els resultats de la combinació de mètodes estocàstics i basats en regies aplicats a la desambiguació morfosintậctica de 1 euskara. Els mètodes utilitzats per a la desambiguacio S0n les Gramàtiques de Restrictions CG i 1 etiquetador basat en HMM del projecte MULTEXT. El caràcter aglutinant de 1 euskara fa necessari la utilitzacio d un analitzador morfo logic per assignar a cada paraula totes les seves interpretations. Les regies de CG s apliquen utilitzant la informacio morfologica completa

• Báo cáo khoa học
• Combining Stochastic
• Rule Based Methods for Disambiguation
• Agglutinative Languages
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học