Granular Bot & Path Control
Definirajte posebna pravila dopuštanja i zabranjivanja za sve robote ili određene botove kao što su Googlebot, Bingbot i AI strugači (GPTBot, CCBot).
Robots.txt generator
Generirajte prilagođene datoteke robots.txt s pravilima za dopuštanje/zabranu indeksiranja, višestrukim kartama web stranica, blokiranjem AI robota i postavkama odgode indeksiranja u stvarnom vremenu.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlDajte točne upute alatima za indeksiranje weba i AI botovima, zaštitite osjetljive rute i optimizirajte učinkovitost indeksiranja SEO-a izravno u vašem pregledniku.
Definirajte posebna pravila dopuštanja i zabranjivanja za sve robote ili određene botove kao što su Googlebot, Bingbot i AI strugači (GPTBot, CCBot).
Ugradite lokacije XML karte web mjesta i konfigurirajte stope indeksiranja kako biste spriječili promet robota od preopterećenja resursa poslužitelja.
Sva analiza pravila i stvaranje datoteka pokreću se izravno u memoriji vašeg lokalnog preglednika bez praćenja ili udaljenih prijenosa.
Trebate 2-minutno mentalno osvježenje? Uskočite u klasičnu puzzle igru izravno u svom pregledniku.