Robots.txt :Là một file đặt trong thu mục Root, tệp tin này chứa hoàn toàn nội dung văn bản text (không phải HTML).
Nó cho phép người quản trị Web (Webmaster) định ra các thành phần với quyền hạn riêng biệt cho từng bọ tìm kiếm. Nói cách khác thông qua tệp tin này, nó giúp cho các webmaster linh hoạt hơn trong chuyện cho hay không cho bot của các công cụ tìm kiếm(SE) đánh chỉ mục(index) một khu vực nào đó trong website của bạn.
Robots.txt có thể quy định từng loại bot khác nhau của các SE khác nhau có thể vào website hay từng khu vực của website hay không?
VD :
User-agent: * : Cho tất các các loại bot truy cập vào website
Disallow: /administrator/ : chặn không cho bot truy cập vào trang quản trị
Disallow: / : Chặn không cho bot truy cập vào toàn bộ website
Disallow: /images/nguoidep.JPG : Chặn không cho bot truy cập vào file ảnh có tên nguoidep.JPG
Bài viết liên quan Cách vào facebook tất cả mạng, tất cả lúc, tất cả nơi, full chức năng
Seo bền vững
Google Sandbox là gì?
Criminalization là gì?
Cách cài đặt google analytics