Robots.txt là một loại tệp đặc thù không phải là HTML hay bất kể thiết bị gì gần giống. Mục đích của tệp robots.txt là để tặng các công cụ tìm kiếm biết content nào trên trang web của bạn khả năng cao được các bot thu thập và lập chỉ mục.
Sitemap robots txt
Sitemap txt
Mục đích của file Robots.txt là gì? Khi các công cụ search tìm tin tức về web site của bạn, tệp Robots.txt thường xuyên là nơi đầu tiên họ search. Tệp này cho các công cụ tìm biết những gì cần phải lập chỉ mục và những gì không nên lập chỉ mục. Bạn cũng thường xuyên hỗ trợ vị trí website của mình trong sơ đồ web XML. công cụ tìm kiếm gửi “chương trình”, “rô-bốt” hoặc “trình thu thập dữ liệu” để thu thập dữ liệu trang web của bạn, theo hướng dẫn trong tệp Robots.txt (nếu tệp “rô-bốt” không được gửi, phương tiện search sẽ không gửi ). .txt chỉ ra rằng điều này không thể lập chỉ mục). 
Sitemap robot
File Robots.txt nằm ở đâu? Tệp sơ đồ web robots.txt có thể nằm trong thư mục gốc. Bạn thường xuyên dễ dàng tạo một tệp trống và đặt tên là Robots.txt. Điều này sẽ Giúp bạn hạn chế các lỗi web site và hoàn tất toàn bộ công việc của mình. phương tiện tìm tìm nạp dữ liệu các trang web đẹp. Ví dụ website bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt File Robots mặc định của wordpress:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/
Hoặc Bạn khả năng cao tham khảo lập trình này
User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml
