Bot granulare e controllo del percorso
Definisci regole di autorizzazione e non autorizzazione separate per tutti i robot o bot specifici come Googlebot, Bingbot e scraper AI (GPTBot, CCBot).
Generatore Robots.txt
Genera file robots.txt personalizzati con regole di autorizzazione/non autorizzazione del crawler, più sitemap, blocco dei bot AI e impostazioni di ritardo della scansione in tempo reale.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlIstruisci accuratamente i crawler di ricerca web e i robot AI, proteggi i percorsi sensibili e ottimizza l'efficienza della scansione SEO direttamente nel tuo browser.
Definisci regole di autorizzazione e non autorizzazione separate per tutti i robot o bot specifici come Googlebot, Bingbot e scraper AI (GPTBot, CCBot).
Incorpora posizioni della mappa del sito XML e configura le velocità di scansione per evitare che il traffico dei bot sovraccarichi le risorse del server.
Tutta l'analisi delle regole e la creazione di file vengono eseguite direttamente nella memoria del browser locale senza tracciamento o caricamenti remoti.
Hai bisogno di un ripasso mentale di 2 minuti? Tuffati in un classico gioco di puzzle direttamente nel tuo browser.