細分化されたボットとパス制御
すべてのロボットまたはGooglebot、Bingbot、AIスクレーパー( GPTBot、CCBot )などの特定のボットに対して、個別の許可ルールと禁止ルールを定義します。
Robots.txtジェネレータ
クローラーの許可/禁止ルール、複数のサイトマップ、AIボットのブロック、およびクロール遅延設定を使用して、カスタマイズされたrobots.txtファイルをリアルタイムで生成します。
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlウェブ検索クローラーとAIボットを正確に指示し、機密ルートを保護し、ブラウザで直接SEOクロールの効率を最適化します。
すべてのロボットまたはGooglebot、Bingbot、AIスクレーパー( GPTBot、CCBot )などの特定のボットに対して、個別の許可ルールと禁止ルールを定義します。
XMLサイトマップの場所を埋め込み、ボットのトラフィックがサーバーリソースに過負荷をかけるのを防ぐためにクロールレートを設定します。
すべてのルール解析とファイル作成は、トラッキングやリモートアップロードなしでローカルブラウザメモリで直接実行されます。
作業の合間に脳をリフレッシュできる無料ブラウザゲームコレクションです。