Tạo robots.txt để điều khiển bot được truy cập path nào, rồi đặt ở thư mục gốc của site.
Mẫu nhanh
Nhóm luật 1
User-agent
Crawl-delay (tùy chọn)
Disallow (mỗi path một dòng)
Allow (mỗi path một dòng)
URL Sitemap (mỗi dòng một URL)
robots.txt
User-agent: * Disallow: Sitemap: https://example.com/sitemap.xml