Pembuat Robots.txt

Generator & Validator Robots.txt Online Gratis

Hasilkan file robots.txt yang disesuaikan dengan aturan izinkan/larang perayap, beberapa peta situs, pemblokiran bot AI, dan pengaturan penundaan perayapan secara real-time.

Konfigurasi Prasetel:

Perayap Penelusuran (Agen-pengguna)

Applies globally to all search engine crawlers and bots via User-agent: *.

Appends a dedicated Disallow block for LLM crawlers without affecting search engines.

Kontrol Akses Jalur

#1
#2
#3
#4
Quick Add:

Peta Situs & Tingkat Perayapan

Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.

Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).

Pratinjau robots.txt yang dihasilkan

robots.txt
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

# Sitemap location(s)
Sitemap: https://example.com/sitemap.xml
100% Dalam Browser Sisi Klien: Semua aturan robots.txt dibuat secara lokal di memori browser Anda.

Mengapa Menggunakan Alat 200 Generator Robots.txt Online Gratis

Instruksikan perayap penelusuran web dan bot AI secara akurat, lindungi rute sensitif, dan optimalkan efisiensi perayapan SEO langsung di browser Anda.

Kontrol Bot & Jalur Granular

Tetapkan aturan izin dan larangan terpisah untuk semua robot atau bot tertentu seperti Googlebot, Bingbot, dan AI scraper (GPTBot, CCBot).

Dukungan Peta Situs & Penundaan Perayapan

Sematkan lokasi peta situs XML dan konfigurasikan kecepatan perayapan untuk mencegah lalu lintas bot membebani sumber daya server secara berlebihan.

100% Privasi Sisi Klien

Semua penguraian aturan dan pembuatan file dijalankan langsung di memori browser lokal Anda tanpa pelacakan atau unggahan jarak jauh.

Istirahat Otak Cepat

Bagaimana kalau bermain mini-game ringan untuk menyegarkan pikiran?

Butuh penyegaran mental 2 menit? Masuk ke permainan puzzle klasik langsung di browser Anda.