Granulær bot og stikontrol
Definer separate regler for tillad og forbud for alle robotter eller specifikke bots som Googlebot, Bingbot og AI-skrabere (GPTBot, CCBot).
Robots.txt Generator
Generer tilpassede robots.txt-filer med crawler-tillad/disallow-regler, flere sitemaps, AI-bot-blokering og indstillinger for crawl-forsinkelse i realtid.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlInstruer websøgningscrawlere og AI-bots nøjagtigt, beskyt følsomme ruter og optimer SEO-crawlingseffektiviteten direkte i din browser.
Definer separate regler for tillad og forbud for alle robotter eller specifikke bots som Googlebot, Bingbot og AI-skrabere (GPTBot, CCBot).
Integrer XML-sitemapplaceringer, og konfigurer gennemgangshastigheder for at forhindre bottrafik i at overbelaste serverressourcer.
Al regelparsing og filoprettelse kører direkte i din lokale browserhukommelse uden sporing eller fjernoverførsel.
Har du brug for en 2-minutters mental genopfriskning? Hop ind i et klassisk puslespil direkte i din browser.