TAILIEUCHUNG - Robot.txt và Googlebot – Allow và Disallow

và Googlebot – Allow và Disallow Khả năng tìm kiếm của các spider là rất lơn, chúng có thể lùng xục khắp nơi trên website của bạn. Với bài viết này chúng ta sẻ cũng tìm hiểm cách thức sử dụng file để quy định các spider, đặc biệt là googlebot. Các User Agent của Google Google có vài user-agent chính. Bạn có thể ngăn chúng bằng cách thêm tên của bọ tìm kiếm tương ứng và trong dòng User-agent tương ứng trong bảng ghi | và Googlebot - Allow và Disallow Khả năng tìm kiếm của các spider là rất lơn chúng có thể lùng xục khắp nơi trên website của bạn. Với bài viết này chúng ta sẻ cũng tìm hiểm cách thức sử dụng file để quy định các spider đặc biệt là googlebot. Các User Agent của Google Google có vài user-agent chính. Bạn có thể ngăn chúng bằng cách thêm tên của bọ tìm kiếm tương ứng và trong dòng User-agent tương ứng trong bảng ghi . Nếu bạn chặn Googlebot thì có nghĩa là bạn chặn tất cả các bọ tìm kiếm với từ khóa Googlebot . Googlebot Đánh chỉ số từ các chỉ mục cũ và mới của Google. Googlebot-Mobile Đánh chỉ số cho các thiết bị cầm tay hoặc di động. Googlebot-Image Đánh chỉ số các tệp tin ảnh. Mediapartners-Google Xuất hiện trong các trang dăng quảng cáo của Google Adsense. Adsbot-Google Đánh chỉ số các trang được nhà quảng cáo sử dụng giới thiệu sản phẩm hay dịch vụ thông qua Google Adwords. Nó cho phép đánh giá chất lượng của trang dùng dịch vụ Adwords. Chặn Googlebot Để chặn toàn bộ Googlebot thì bạn thêm cú pháp sau vào file robots loại trừ User-agent Googlebot Disallow Cho phép Googlebot Trong trường hợp bạn muốn chặn tất cả các bọ tìm kiếm khác trừ một robot Googlebot chẳng hạn thì bạn có thể sử dụng cú pháp sau. Tuy nhiên nếu bạn không muốn trang liên quan biến mất khỏi kết quả tìm kiếm của các máy tìm kiếm như Yahoo MSN Live hay Ask thì bạn không nên làm như thế. User-agent Disallow User-agent Googlebot Disallow Cho phép mở rộng Google hỗ trợ cú pháp mở rộng Allow trong tệp tin . Có nhiều máy tìm kiếm không hỗ trợ phần mở rộng này vì thế bạn nên tham khảo kỹ. Dòng lệnh Allow hoạt động cũng giống như Disallow chỉ khác là nó liệt kê các thư mục hay trang bạn cho phép đánh chỉ số. Bạn có thể sử dụng đồng thời Allow và Disallow cùng nhau. Chẳng hạn để cấm tất cả các trang trong một thư mục seotips chẳng hạn trừ tệp tin bạn hãy làm như sau User-agent Googlebot Disallow seotips Allow seotips .

• Quản trị Web
• Tối ưu hoá Công cụ Tìm kiếm
• Công cụ Tìm kiếm Google
• tài liệu quản trị web
• cải thiện tương tác trang web
• chiến lược SEO
• tối ưu hóa website
• tăng traffic cho website
• từ khóa tìm kiếm
• quảng cáo trực tuyến
• phương pháp SEO
• tìm hiểu về SEO