精細機器人和路徑控制
為所有機器人或特定機器人(例如 Googlebot、Bingbot 和 AI 抓取工具(GPTBot、CCBot))定義單獨的允許和禁止規則。
Robots.txt 產生器
即時產生具有爬蟲允許/禁止規則、多個網站地圖、AI 機器人阻止和抓取延遲設定的自訂 robots.txt 檔案。
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xml直接在瀏覽器中準確指導網路搜尋爬蟲和人工智慧機器人,保護敏感路線並優化 SEO 爬行效率。
為所有機器人或特定機器人(例如 Googlebot、Bingbot 和 AI 抓取工具(GPTBot、CCBot))定義單獨的允許和禁止規則。
嵌入 XML 網站地圖位置並配置爬網速率,以防止機器人流量使伺服器資源超載。
所有規則解析和檔案創建都直接在本機瀏覽器記憶體中運行,零追蹤或遠端上傳。
在工作空檔讓大腦放鬆一下的免費網頁經典遊戲合輯。