Robots.txt là dạng tập tin đặc thù không phải là HTML hay một loại nào khác. Mục đích của việc có file robots.txt là khai báo cho phương tiện tìm kiếm biết rằng những nội dung nào trên trang web của bạn được đưa cho phép các bot search và lập chỉ mục.
MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?
Khi sở hữu một công cụ tìm kiếm tin tức web site của bạn, điều đầu tiên mà nó tìm kiếm tất cả là file Robots.txt . File này sẽ nói với dụng cụ tìm kiếm những gì tốt nhất nên và không tốt nhất nên lập chỉ mục. Nó cũng thường xuyên chỉ ra vị trí website của bạn trên XML Sitemap. Sau đó các công cụ tìm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập tin tức web site của bạn theo như là có các hướng dẫn của file Robots.txt (các dụng cụ tìm kiếm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục). 
FILE ROBOTS.TXT NẰM Ở ĐÂU?
File Robots.txt thường xuyên nằm ở thư mục gốc của bạn, bạn khả năng cao tiện dụng tạo một file trống và đặt tên là Robots.txt, điều này giúp bạn giảm thiểu được các lỗi cho web site đồng thời cho phép hầu hết các phương tiện search thu thập thông tin về trang web của bạn. Ví dụ web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt
