TAILIEUCHUNG - Nâng cao chất lượng nhận dạng tiếng nói tiếng Việt sử dụng mô hình ngôn ngữ Transformer-XL

Bài viết Nâng cao chất lượng nhận dạng tiếng nói tiếng Việt sử dụng mô hình ngôn ngữ Transformer-XL đánh giá hiệu quả của Transformer-XL với tiếng Việt cũng như việc áp dụng chúng vào một hệ thống nhận dạng tiếng nói. | Tuyển tập Hội nghị Khoa học thường niên năm 2019. ISBN 978-604-82-2981-8 NÂNG CAO CHẤT LƯỢNG NHẬN DẠNG TIẾNG NÓI TIẾNG VIỆT SỬ DỤNG MÔ HÌNH NGÔN NGỮ TRANSFORMER-XL Nguyễn Quang Trung1 Đỗ Văn Hải2 1 Trung tâm Không gian Mạng Viettel 2 Trường Đại học Thủy lợi 1. GIỚI THIỆU CHUNG 2. PHƯƠNG PHÁP NGHIÊN CỨU Mô hình ngôn ngữ là một thành phần không thể thiếu trong một hệ thống nhận . Hệ thống nhận dạng tiếng nói. dạng tiếng nói hiện đại. Chúng giúp đưa ra Một hệ thống nhận dạng tiếng nói cơ bản được kết quả chính xác ngay cả khi người thường gồm các thành phần như hình dưới nói bị ngọng nhưng đôi khi cũng là nguyên nhân làm giảm độ chính xác không phản ánh được đúng phân bố xác suất của ngôn ngữ. Tuy đã được chứng minh hiệu quả so với mô hình n-gram truyền thống các mô hình ngôn ngữ dựa trên mạng nơ-ron vốn thường Hình 1. Hệ thống nhận dạng tiếng nói sử dụng mạng hồi quy RNN và biến thể đều Tại khối decoder hệ thống sẽ sử dụng một gặp phải những vấn đề cố hữu của mạng mô hình ngôn ngữ để đánh giá lại tất cả các RNN đó là giả thuyết đã nhận dạng được từ đầu ra của - Khó song song hóa. mô hình phát âm pronunciation model . Số - Tất cả nội dung được mã hóa vào một lượng giả thuyết này có thể lên tới hàng triệu véc-tơ duy nhất. chỉ với một câu nói do đó mô hình ngôn ngữ - Các từ trong câu có vai trò giống nhau thường được sử dụng là n-gram vì tốc độ tính đối với từ cần dự đoán do đó không thể hiện toán rất nhanh. Trong khối decoder sẽ là một hiệu quả nội dung của câu. lưới từ có dạng như sau Từ những nhược điểm trên hiện nay xu thật thế trên cộng đồng trí tuệ nhân tạo đang dần tiếc 2 rất 4 đẹp 5 chuyển sang sử dụng mô hình Transfomer 2 0 Thời 1 1 tiết 0 34 thật địp 3 thay thế cho RNN và đã chứng minh những hiệu quả nhất định. Bài báo này sẽ trình bày Hình 2. Đầu ra của hệ thống nhận dạng thử nghiệm của chúng tôi khi áp dụng mô tiếng nói hình Transformer-XL 1 - biến thể của mạng Kết quả nhận dạng được cuối cùng sẽ là Transformer vào một hệ thống nhận

• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Nhận dạng tiếng nói tiếng Việt
• Mô hình ngôn ngữ Transformer XL
• Hệ thống nhận dạng tiếng nói
• Mô hình RNN
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Natural language processing
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tạp chí Ngôn ngữ
• Ngôn ngữ học tạo sinh
• Ngôn ngữ học cải biến
• Cấu trúc đoản ngữ
• Mô hình ngôn ngữ thứ nhất
• Quy luật ngôn ngữ
• Bộ máy ngôn ngữ
• Tính quy luật bộ máy ngôn ngữ
• Ngôn ngữ học
• Dấu hiệu của ngôn ngữ
• Luận án tiến sĩ ngôn ngữ học
• Từ ngữ chỉ bộ phận cơ thể người
• Ca dao tục ngữ tiếng Hán
• Ca dao tục ngữ tiếng Việt
• Ngôn ngữ học tri nhận
• Ẩn dụ ý niệm
• Hoán dụ ý niệm
• Mô hình tri nhận
• Ngôn ngữ dữ liệu
• Mô hình quan hệ
• Thiết kế ngôn ngữ của CSDL
• Ngôn ngữ dữ liệu mức cao
• Ngôn ngữ lập trình
• Query By Example
• Ngôn ngữ đặc tả SDL
• Ngôn ngữ mô hình hóa UML
• Tin học
• Công nghệ thông tin
• Phát triển phần mềm
• Ngôn ngữ đặc tả
• Dịch mã chương trình
• Xây dựng đặc tả
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình n gram
• Phân tích hướng đối tượng
• Thiết kế hướng đối tượng
• Mô hình hóa
• Mô hình hóa hướng đối tượng
• Ngôn ngữ UML
• Mô hình học sâu
• Đặc trưng ngôn ngữ
• Mô hình học máy thống kê
• Mô hình BERT
• Bài toán xử lý ngôn ngữ tự nhiên
• Độ tương tự ngữ nghĩa song ngữ
• Nhúng từ song ngữ
• Mô hình mạng nơron
• Không gian vector biểu diễn ngữ nghĩa
• Ngữ nghĩa song ngữ Việt Anh
• Lựa chọn ngôn ngữ
• Phần mềm mô hình toán
• Mô phỏng dòng chảy
• Vận chuyển bùn cát
• Phần mềm mô phỏng dòng chảy
• Giáo trình Ngôn ngữ mô tả phần cứng Verilog
• Ngôn ngữ mô tả phần cứng Verilog
• Cấu trúc phân cấp
• Mô hình thiết kế cấu trúc
• Mô hình thiết kế hành vi
• Chương trình ngôn ngữ sư phạm tiếng Anh
• Lớp học tiếng Anh
• Mô hình ngôn ngữ tương tác
• Ngôn ngữ trong lớp học
• Tạp chí Ngôn ngữ và đời sống
• Ebook Những bình diện tâm lý ngôn ngữ học
• Tâm lý ngôn ngữ học
• Cơ sở của tâm lý ngôn ngữ học
• Mô hình tạo sinh câu
• Mô hình ngữ pháp tạo sinh
• ngôn ngữ mô hình hóa
• hình hóa thống nhất uml
• phương pháp hướng đối tượng
• mô hình hoá
• ngôn ngữ trực quan
• Bài giảng Mô hình hóa phần mềm
• Mô hình hóa phần mềm
• Chuyển đổi mô hình
• Tạp chí Khoa học Ngôn ngữ và Văn hóa
• Kỹ năng nghề nghiệp
• Kỹ năng ngôn ngữ
• Mô hình thực hành
• Tour du lịch đi bộ miễn phí
• Khách Pháp ngữ
• Bài giảng Ngôn ngữ lập trình Java
• Ngôn ngữ lập trình Java
• Lập trình Java
• Mô Hình MVC
• Lợi ích của MVC
• Ngôn ngữ đặc tả ca sử dụng
• Ngôn ngữ mô hình hóa USL
• Kịch bản thực hiện ca sử dụng
• Tự động hóa từ mô hình ca sử dụng
• Ngôn ngữ đặc tả USL
• Luận văn Thạc sĩ
• Mô hình ngôn ngữ N Gram
• Ứng dụng mô hình ngôn ngữ N Gram
• Sử dụng Tiếng Việt
• Tiếng Việt không dấu
• Luận văn Công nghệ thông tin
• Kỹ thuật phần mềm
• Hadoop MapReduce
• Thuyết phục quyền năng
• Kỹ năng thuyết phục
• Sức mạnh thôi miên
• Nghệ thuật giao tiếp
• Kiểu ngôn ngữ quân đội
• Mô hình ngôn ngữ siêu mô hình
• Mô hình ngôn ngữ thay đổi niềm tin
• Lý thuyết tính toán Otomat
• Lý thuyết ngôn ngữ hình thức
• Kỹ thuật mô phỏng
• Kỹ thuật chứng minh
• Ngôn ngữ hình thức