การควบคุมบอทและเส้นทางแบบละเอียด
กำหนดกฎการอนุญาตและไม่อนุญาตแยกกันสำหรับโรบ็อตทั้งหมดหรือบอทเฉพาะ เช่น Googlebot, Bingbot และ AI Scrapers (GPTBot, CCBot)
เครื่องกำเนิด Robots.txt
สร้างไฟล์ robots.txt ที่กำหนดเองด้วยกฎการอนุญาต/ไม่อนุญาตของโปรแกรมรวบรวมข้อมูล แผนผังไซต์หลายรายการ การบล็อกบอท AI และการตั้งค่าการหน่วงเวลาการรวบรวมข้อมูลแบบเรียลไทม์
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlสอนโปรแกรมรวบรวมข้อมูลการค้นหาเว็บและบอท AI อย่างถูกต้อง ปกป้องเส้นทางที่ละเอียดอ่อน และเพิ่มประสิทธิภาพการรวบรวมข้อมูล SEO ได้โดยตรงในเบราว์เซอร์ของคุณ
กำหนดกฎการอนุญาตและไม่อนุญาตแยกกันสำหรับโรบ็อตทั้งหมดหรือบอทเฉพาะ เช่น Googlebot, Bingbot และ AI Scrapers (GPTBot, CCBot)
ฝังตำแหน่งแผนผังเว็บไซต์ XML และกำหนดค่าอัตราการรวบรวมข้อมูลเพื่อป้องกันการรับส่งข้อมูลของบอทจากการโอเวอร์โหลดทรัพยากรเซิร์ฟเวอร์
การแยกวิเคราะห์กฎและการสร้างไฟล์ทั้งหมดทำงานโดยตรงในหน่วยความจำเบราว์เซอร์ในเครื่องของคุณ โดยไม่มีการติดตามหรือการอัปโหลดจากระยะไกล
ต้องการฟื้นฟูจิตใจ 2 นาทีใช่ไหม? กระโดดเข้าสู่เกมปริศนาสุดคลาสสิกในเบราว์เซอร์ของคุณ