Robots.txt là dạng tập tin đặc trưng mới không phải là HTML hay một loại nào khác. Mục đích của việc sở hữu nhất file robots.txt là khai báo tặng mới phương tiện mới search biết rằng những nội dung mới nào trên website nhất của bạn được cho phép các bot tìm kiếm mới và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi sở hữu mới một công cụ tìm thông tin web của bạn, điều đầu tiên mà nó search đa số là file Robots.txt. File này sẽ nói với dụng cụ search những gì cần và không sẵn sàng nhất lập chỉ mục. Nó cũng khả năng cao chỉ ra vị trí web của bạn trên XML Sitemap. Sau đó các phương tiện nhất search sẽ gửi“bot”,“robot” hoặc“spider” để thu thập tin tức mới trang web của bạn theo như là mới hướng dẫn của file Robots.txt (các phương tiện mới tìm kiếm mới sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt có lẽ nằm ở thư mục gốc của bạn, bạn thường xuyên mới lợi ích tạo một file trống và đặt tên là Robots.txt, điều này giúp cho bạn giảm thiểu được các lỗi cho web cùng lúc cho phép hầu hết các phương tiện nhất tìm kiếm nhất thu thập thông báo về website mới của bạn. Ví dụ web site bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt