File Robots.txt mặc định của Word press:
User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/
Hoặc Bạn thường xuyên tham khảo code này
User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml
MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT
Chặn bot không cho chỉ mục hầu hết trang web Bạn có câu lệnh giống như sau: User-agent:* Disallow: / Lệnh này có ý nghĩa: “Không đưa cho phép các bot của phương tiện tìm kiếm log in và đánh chỉ mục trên mọi tài nguyên có trên web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này sở hữu nghĩa: “Cho phép bot lập chỉ mục đa số dữ liệu trừ 2 thư mục /wp-admin/ và /wp-includes/ là không cho phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này sở hữu nghĩa: “Cho phép bot đánh chỉ mục tất cả các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này sở hữu nghĩa: “Chặn một hình ảnh nào đó từ web site của bạn, ngăn không cho các bot tìm và lập chỉ mục tặng hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này nắm tới nghĩa: “Chặn botspam đăng nhập hầu hết dữ liệu trên website của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn tất cả các dữ liệu trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này nắm tới nghĩa: “Chặn bot tìm đa số dữ liệu trong thư mục /thumucbichan/ nhưng đưa cho phép lập chỉ mục file /filekhongbichan.html”
