File Robots.txt mặc định của Word press:

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

Hoặc Bạn có thể tham khảo code này

User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml

MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT

Chặn bot không tặng chỉ mục đa số web site Bạn có câu lệnh như sau: User-agent:* Disallow: / Lệnh này sở hữu ý nghĩa: “Không cho phép các bot của công cụ tìm kiếm truy cập và đánh chỉ mục trên hầu hết tài nguyên sở hữu trên web site của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này nắm tới nghĩa: “Cho phép bot lập chỉ mục tất cả data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không đưa cho phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này sở hữu nghĩa: “Cho phép bot đánh chỉ mục đa số các dữ liệu trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này nắm tới nghĩa: “Chặn một hình ảnh nào đó từ website của bạn, ngăn không tặng các bot search và lập chỉ mục cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này sở hữu nghĩa: “Chặn botspam đăng nhập mọi dữ liệu trên trang web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn hầu hết các dữ liệu trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này sở hữu nghĩa: “Chặn bot tìm đa số dữ liệu trong thư mục /thumucbichan/ nhưng cho phép lập chỉ mục file /filekhongbichan.html”

File robots.txt là gì? Hướng dẫn tùy chỉnh trên wordpress