Butil-butil na Bot at Kontrol ng Landas
Tukuyin ang hiwalay na payagan at hindi payagan ang mga panuntunan para sa lahat ng robot o partikular na bot tulad ng Googlebot, Bingbot, at AI scraper (GPTBot, CCBot).
Robots.txt Generator
Bumuo ng mga naka-customize na robots.txt na file na may crawler allow/disallow na mga panuntunan, maraming sitemap, AI bot blocking, at mga setting ng crawl-delay sa real time.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlTumpak na turuan ang mga crawler ng paghahanap sa web at AI bot, protektahan ang mga sensitibong ruta, at direktang i-optimize ang kahusayan sa pag-crawl ng SEO sa iyong browser.
Tukuyin ang hiwalay na payagan at hindi payagan ang mga panuntunan para sa lahat ng robot o partikular na bot tulad ng Googlebot, Bingbot, at AI scraper (GPTBot, CCBot).
I-embed ang mga lokasyon ng XML sitemap at i-configure ang mga rate ng pag-crawl upang maiwasan ang trapiko ng bot na mag-overload ng mga mapagkukunan ng server.
Ang lahat ng pag-parse ng panuntunan at paggawa ng file ay direktang tumatakbo sa iyong lokal na memorya ng browser na walang pagsubaybay o malayuang pag-upload.
Kailangan ng 2 minutong pag-refresh ng kaisipan? Tumalon sa isang klasikong larong puzzle sa iyong browser.