Robots.txt là dạng tập tin đặc thù không phải là HTML hay một loại nào khác. Mục đích của việc sở hữu file robots.txt là khai báo cho công cụ tìm kiếm biết rằng những content nào trên web của bạn được đưa cho phép các bot search và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi có một phương tiện search thông tin web của bạn, điều đầu tiên mà nó tìm đa số là file Robots.txt . File này sẽ nói với công cụ search những gì tốt nhất nên và không nên lập chỉ mục. Nó cũng thường xuyên chỉ ra vị trí web site của bạn trên XML Sitemap. Sau đó các phương tiện tìm kiếm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập tin tức web của bạn theo giống như hướng dẫn cụ thể của file Robots.txt (các phương tiện search sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt thường xuyên nằm ở thư mục gốc của bạn, bạn có thể lợi ích tạo một file trống và đặt tên là Robots.txt, điều này giúp bạn giảm thiểu được các lỗi đưa cho website cùng lúc tặng phép tất cả các phương tiện search thu thập tin tức về website của bạn. Ví dụ trang web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt

5/5 - (2 bình chọn)

File robots.txt là gì? Hướng dẫn tùy chỉnh trên wordpress