TAILIEUCHUNG - Sự quan trọng của file Robots.txt

Sự quan trọng của file Một trong những điều quan trọng để web site của bạn có thể đạt High ranking (thứ hạng cao) trong các cỗ máy tìm kiếm là bạn phải xây dựng cho mình một file Vậy file là gì? khi một search engine tìm đến (nguyên văn Crawler) web site nào đó, nó sẽ tìm một file đặc biệt trước tiên, đó là file . File cho search engine đó biết rằng, web site này có thể index hoặc không (tùy theo lệnh được viết trong file ). . | Sự quan trọng của file Một trong những điều quan trọng để web site của bạn có thể đạt High ranking thứ hạng cao trong các cỗ máy tìm kiếm là bạn phải xây dựng cho mình một file Vậy file là gì khi một search engine tìm đến nguyên văn Crawler web site nào đó nó sẽ tìm một file đặc biệt trước tiên đó là file . File cho search engine đó biết rằng web site này có thể index hoặc không tùy theo lệnh được viết trong file . Thực chất file là một tập tin văn bản đơn giản không chứa mã HTML được đặt trong thư mục gốc của web site ví dụ http .com robots .txt. Vậy làm thế nào để tạo ra một file Rất đơn giản bạn có thể mở chương trình Notepad hay bất cứ chương trình soạn thảo văn bản nào lưu file với tên là xong. Các dòng lệnh trong file này có cấu trúc như sau User-agent googlebot Disallow cgi-bin Trong đó User-agent là đại diện của một search engine Googlebot là spider của Google. Trong ví dụ này chỉ các spider của Google là được phép index web site. Disallow là không cho phép thực hiện điều gì đó. ở ví dụ trên là không cho phép các spider index thư mục cgi-bin trong web site. Ví dụ thứ hai User-agent googlebot Disallow support Tất cả các trang nằm trong thư mục support hay support-desk sẽ không được index. Nếu bạn muốn tất cả các search engine có thể index web site của bạn nhưng không được index các trang trong thư mục cgi-bin thì sử dụng lệnh sau User-agent Disallow cgi-bin Những điều nên tránh Không sử dụng các chú thích trong file nó có thể làm cho các spider của search engine bị lầm lẫn. Ví dụ Disallow support Don t index the support directory might be misinterepreted as Disallow support Don t index the support directory . Không được để khoảng trắng ở đầu dòng lệnh ví dụ User-agent

• Quản trị Web
• tối ưu hóa website
• Tối ưu hoá Công cụ Tìm kiếm
• Công cụ Tìm kiếm Google
• tài liệu quản trị web
• cải thiện tương tác trang web
• chiến lược SEO
• tăng traffic cho website
• Tạp chí khoa học
• Tối ưu hóa nội dung website du lịch
• Nâng cao thứ hạng trên google
• Website du lịch
• Tối ưu hóa công cụ tìm kiếm
• Công cụ tìm kiếm
• Cách tối ưu hóa website
• Các phương pháp SEO
• SEO cơ bản
• từ khóa SEO
• tối ưu website
• lập trình website
• giáo trình về wireless
• cài đặt wireless
• hướng dẫn sử dụng wireless
• phương pháp SEO
• tìm hiểu về SEO
• giúp website hồi sinh