Robots.txt là dạng tập tin đặc thù không phải là HTML hay một loại nào khác. Mục đích của việc có file robots.txt là khai báo tặng dụng cụ tìm biết rằng những content nào trên website của bạn được cho phép các bot tìm kiếm và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi nắm tới một phương tiện tìm thông tin web của bạn, điều đầu tiên mà nó search hầu hết là file Robots.txt . File này sẽ nói với phương tiện tìm những gì tốt nhất nên và không tốt nhất nên lập chỉ mục. Nó cũng thường chỉ ra vị trí website của bạn trên XML Sitemap. Sau đó các phương tiện tìm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông báo web của bạn theo giống như có các hướng dẫn của file Robots.txt (các dụng cụ search sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt có lẽ nằm ở thư mục gốc của bạn, bạn có lẽ thuận tiện tạo một file trống và đặt tên là Robots.txt, điều này hỗ trợ bạn giảm thiểu được các lỗi cho website song song tặng phép toàn bộ các công cụ tìm thu thập thông tin về web của bạn. Ví dụ trang web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt