בוט גרגירי ובקרת נתיב
הגדר כללים נפרדים של הרשה ואסור לכל הרובוטים או הבוטים הספציפיים כמו Googlebot, Bingbot ומגרדי AI (GPTBot, CCBot).
Generator Robots.txt
צור קובצי robots.txt מותאמים אישית עם כללים לאפשר/אסור סורק, מפות Site מרובות, חסימת בוטים של AI והגדרות של עיכוב סריקה בזמן אמת.
User-agent: *.Appends a dedicated Disallow block for LLM crawlers without affecting search engines.
Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.
Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /
# Sitemap location(s)
Sitemap: https://example.com/sitemap.xmlהנח את סורקי החיפוש באינטרנט ובוטים של AI בצורה מדויקת, הגן על מסלולים רגישים וייעל את יעילות סריקת SEO ישירות בדפדפן שלך.
הגדר כללים נפרדים של הרשה ואסור לכל הרובוטים או הבוטים הספציפיים כמו Googlebot, Bingbot ומגרדי AI (GPTBot, CCBot).
הטמע מיקומי מפת אתר ב-XML והגדר את שיעורי הסריקה כדי למנוע מתעבורת בוט להעמיס יתר על המידה על משאבי השרת.
כל ניתוח הכללים ויצירת הקבצים פועלים ישירות בזיכרון הדפדפן המקומי שלך עם אפס מעקב או העלאות מרחוק.
זקוק לרענון מנטלי של 2 דקות? קפוץ למשחק פאזל קלאסי ישירות בדפדפן שלך.