Granulär Bot & Path Control
Definiera separata regler för tillåt och tillåt inte för alla robotar eller specifika botar som Googlebot, Bingbot och AI-skrapor (GPTBot, CCBot).
Robots.txt Generator
Generera anpassade robots.txt-filer med regler för att tillåta/förbjuda sökrobotar, flera webbplatskartor, AI-botblockering och inställningar för genomsökningsfördröjning i realtid.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlInstruera sökrobotar och AI-robotar korrekt, skydda känsliga rutter och optimera SEO-genomsökningseffektiviteten direkt i din webbläsare.
Definiera separata regler för tillåt och tillåt inte för alla robotar eller specifika botar som Googlebot, Bingbot och AI-skrapor (GPTBot, CCBot).
Bädda in XML-webbplatskartor och konfigurera genomsökningshastigheter för att förhindra bottrafik från att överbelasta serverresurser.
All regelanalys och filskapande körs direkt i ditt lokala webbläsarminne utan spårning eller fjärruppladdningar.
Behöver du en 2-minuters mental uppfräschning? Hoppa in i ett klassiskt pusselspel direkt i din webbläsare.