Robots.txt generator

Besplatni mrežni generator i validator Robots.txt

Generirajte prilagođene datoteke robots.txt s pravilima za dopuštanje/zabranu indeksiranja, višestrukim kartama web stranica, blokiranjem AI robota i postavkama odgode indeksiranja u stvarnom vremenu.

Unaprijed postavljene konfiguracije:

Alati za indeksiranje pretraživanja (korisnički agent)

Applies globally to all search engine crawlers and bots via User-agent: *.

Appends a dedicated Disallow block for LLM crawlers without affecting search engines.

Kontrola pristupa stazi

#1
#2
#3
#4
Quick Add:

Karta web mjesta i stopa indeksiranja

Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.

Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).

Generirani pregled datoteke robots.txt

robots.txt
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

# Sitemap location(s)
Sitemap: https://example.com/sitemap.xml
100% preglednik na strani klijenta: Sva pravila robots.txt generiraju se lokalno u memoriji vašeg preglednika.

Zašto koristiti Tool 200 Free Online Robots.txt Generator

Dajte točne upute alatima za indeksiranje weba i AI botovima, zaštitite osjetljive rute i optimizirajte učinkovitost indeksiranja SEO-a izravno u vašem pregledniku.

Granular Bot & Path Control

Definirajte posebna pravila dopuštanja i zabranjivanja za sve robote ili određene botove kao što su Googlebot, Bingbot i AI strugači (GPTBot, CCBot).

Sitemap & podrška za odgodu indeksiranja

Ugradite lokacije XML karte web mjesta i konfigurirajte stope indeksiranja kako biste spriječili promet robota od preopterećenja resursa poslužitelja.

100% privatnost na strani klijenta

Sva analiza pravila i stvaranje datoteka pokreću se izravno u memoriji vašeg lokalnog preglednika bez praćenja ili udaljenih prijenosa.

Quick Brain Break

Što kažete na brzu mini-igru za opuštanje?

Trebate 2-minutno mentalno osvježenje? Uskočite u klasičnu puzzle igru ​​izravno u svom pregledniku.