Controle granular de bot e caminho
Defina regras separadas de permissão e proibição para todos os robôs ou bots específicos, como Googlebot, Bingbot e raspadores de IA (GPTBot, CCBot).
Gerador Robots.txt
Gere arquivos robots.txt personalizados com regras de permissão/proibição do rastreador, vários mapas de sites, bloqueio de bot de IA e configurações de atraso de rastreamento em tempo real.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlInstrua rastreadores de pesquisa na web e bots de IA com precisão, proteja rotas confidenciais e otimize a eficiência do rastreamento de SEO diretamente em seu navegador.
Defina regras separadas de permissão e proibição para todos os robôs ou bots específicos, como Googlebot, Bingbot e raspadores de IA (GPTBot, CCBot).
Incorpore locais de mapas de sites XML e configure taxas de rastreamento para evitar que o tráfego de bot sobrecarregue os recursos do servidor.
Toda a análise de regras e criação de arquivos são executadas diretamente na memória local do navegador, sem rastreamento ou uploads remotos.
Precisa de uma atualização mental de 2 minutos? Entre em um jogo de quebra-cabeça clássico diretamente no seu navegador.