Butiran Bot & Kawalan Laluan
Tentukan peraturan membenarkan dan tidak membenarkan yang berasingan untuk semua robot atau bot tertentu seperti Googlebot, Bingbot dan pengikis AI (GPTBot, CCBot).
Penjana Robots.txt
Hasilkan fail robots.txt tersuai dengan peraturan membenarkan/tidak membenarkan perangkak, berbilang peta laman, penyekatan bot AI dan tetapan kelewatan-rangkak dalam masa nyata.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlArahkan perangkak carian web dan bot AI dengan tepat, lindungi laluan sensitif dan optimumkan kecekapan rangkak SEO terus dalam penyemak imbas anda.
Tentukan peraturan membenarkan dan tidak membenarkan yang berasingan untuk semua robot atau bot tertentu seperti Googlebot, Bingbot dan pengikis AI (GPTBot, CCBot).
Benamkan lokasi peta laman XML dan konfigurasikan kadar rangkak untuk menghalang trafik bot daripada membebankan sumber pelayan.
Semua penghuraian peraturan dan penciptaan fail dijalankan terus dalam memori penyemak imbas setempat anda dengan penjejakan sifar atau muat naik jauh.
Perlukan penyegaran mental selama 2 minit? Lompat ke permainan teka-teki klasik terus dalam penyemak imbas anda.