TAILIEUCHUNG - Báo cáo khoa học: "Word Epoch Disambiguation: Finding How Words Change Over Time"

In this paper we introduce the novel task of “word epoch disambiguation,” defined as the problem of identifying changes in word usage over time. Through experiments run using word usage examples collected from three major periods of time (1800, 1900, 2000), we show that the task is feasible, and significant differences can be observed between occurrences of words in different periods of time. | Word Epoch Disambiguation Finding How Words Change Over Time Rada Mihalcea Computer Science and Engineering University of North Texas rada@ Vivi Nastase Institute for Computational Linguistics University of Heidelberg nastase@ Abstract In this paper we introduce the novel task of word epoch disambiguation defined as the problem of identifying changes in word usage over time. Through experiments run using word usage examples collected from three major periods of time 1800 1900 2000 we show that the task is feasible and significant differences can be observed between occurrences of words in different periods of time. 1 Introduction Most current natural language processing works with language as if it were a constant. This however is not the case. Language is continually changing we discard or coin new senses for old words metaphoric and metonymic usages become so engrained that at some point they are considered literal and we constantly add new words to our vocabulary. The purpose of the current work is to look at language as an evolutionary phenomenon which we can investigate and analyze and use when working with text collections that span a wide time frame. Until recently such task would not have been possible because of the lack of large amounts of non-contemporary This has changed thanks to the Google books and Google Ngrams historical projects. They make available in electronic format a large amount of textual data starting from the 17th century as well as statistics on word usage. We will exploit this data to find differences in word usage across wide periods of time. 1While the Brown corpus does include documents from different years it is far from the scale and time range of Google books. 259 The phenomena involved in language change are numerous and for now we focus on word usage in different time epochs. As an example the word gay currently most frequently used to refer to a sexual orientation was in the previous century

• Báo cáo khoa học
• Word Epoch Disambiguation
• Finding How Words Change Over Time
• Rada Mihalcea
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball