TAILIEUCHUNG - Báo cáo khoa học: "Online Generation of Locality Sensitive Hash Signatures"

Motivated by the recent interest in streaming algorithms for processing large text collections, we revisit the work of Ravichandran et al. (2005) on using the Locality Sensitive Hash (LSH) method of Charikar (2002) to enable fast, approximate comparisons of vector cosine similarity. For the common case of feature updates being additive over a data stream, we show that LSH signatures can be maintained online, without additional approximation error, and with lower memory requirements than when using the standard offline technique. . | Online Generation of Locality Sensitive Hash Signatures Benjamin Van Durme HLTCOE Johns Hopkins University Baltimore MD 21211 USA Ashwin Lall College of Computing Georgia Institute of Technology Atlanta GA 30332 USA Abstract Motivated by the recent interest in streaming algorithms for processing large text collections we revisit the work of Ravichandran et al. 2005 on using the Locality Sensitive Hash LSH method of Charikar 2002 to enable fast approximate comparisons of vector cosine similarity. For the common case of feature updates being additive over a data stream we show that LSH signatures can be maintained online without additional approximation error and with lower memory requirements than when using the standard offline technique. 1 Introduction There has been a surge of interest in adapting results from the streaming algorithms community to problems in processing large text collections. The term streaming refers to a model where data is made available sequentially and it is assumed that resource limitations preclude storing the entirety of the data for offline batch processing. Statistics of interest are approximated via online randomized algorithms. Examples of text applications include collecting approximate counts Talbot 2009 Van Durme and Lall 2009a finding top-n elements Goyal et al. 2009 estimating term co-occurrence Li et al. 2008 adaptive language modeling Levenberg and Osborne 2009 and building top-k ranklists based on pointwise mutual information Van Durme and Lall 2009b . Here we revisit the work of Ravichandran et al. 2005 on building word similarity measures from large text collections by using the Locality Sensitive Hash LSH method of Charikar 2002 . For the common case of feature updates being additive over a data stream such as when tracking lexical co-occurrence we show that LSH signatures can be maintained online without additional approximation error and with lower memory requirements than when using the standard offline technique. We .

• Báo cáo khoa học
• Online Generation
• Locality Sensitive Hash Signatures
• Long Papers
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Marketing in the Connected Age
• Online advertising
• Z generation
• Online television advertisement (TVC)
• Marketing communication strategies
• Attitudes towards online TVC
• BMC Genomics
• Motif discovery
• Transcription factor binding site
• Motif conservation
• Chromatin immunoprecipitation
• Next generation sequencing
• Marketing online
• The B2B Lead
• 101 B2B
• Marketing and Sales
• Tips from The B2B Lead
• VOLUME ONE
• Business acumen
• List of business law topics
• Business mediator
• Change management analyst
• Economic democracy
• RNA seq
• Next generation sequencing
• Transcriptome sequencing
• Quantify gene
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball