Robots.txt Jenereta

Jenereta na Kihalalishaji cha Mtandaoni Bure

Tengeneza faili za robots.txt zilizobinafsishwa kwa kutumia sheria za kutambaa, ruhusu/usiruhusu, ramani nyingi za tovuti, uzuiaji wa roboti wa AI na mipangilio ya kuchelewesha kutambaa kwa wakati halisi.

Mipangilio iliyowekwa mapema:

Vitambazaji vya Utafutaji (Wakala wa Mtumiaji)

Applies globally to all search engine crawlers and bots via User-agent: *.

Appends a dedicated Disallow block for LLM crawlers without affecting search engines.

Udhibiti wa Ufikiaji wa Njia

#1
#2
#3
#4
Quick Add:

Ramani ya tovuti & Kiwango cha Kutambaza

Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.

Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).

Onyesho la Kuchungulia la robots.txt linalozalishwa

robots.txt
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

# Sitemap location(s)
Sitemap: https://example.com/sitemap.xml
100% ya Kivinjari cha Upande wa Mteja: Sheria zote za robots.txt zinatolewa ndani ya kumbukumbu ya kivinjari chako.

Kwa Nini Utumie Jenereta ya Jenereta ya Tool 200 ya Mtandaoni ya Robots.txt

Waelekeze watambaji wa utafutaji wa wavuti na roboti za AI kwa usahihi, linda njia nyeti, na uboreshe ufanisi wa utambazaji wa SEO moja kwa moja kwenye kivinjari chako.

Punjepunje Bot & Udhibiti wa Njia

Bainisha sheria tofauti za kuruhusu na usiruhusu roboti zote au vijibu mahususi kama vile Googlebot, Bingbot, na vikwaruzi vya AI (GPTBot, CCBot).

Ramani ya tovuti & Usaidizi wa Kuchelewesha Kutambaza

Pachika maeneo ya ramani ya tovuti ya XML na usanidi viwango vya kutambaa ili kuzuia trafiki ya roboti kutokana na upakiaji wa rasilimali za seva.

Faragha ya 100% ya Upande wa Mteja

Uchanganuzi wote wa sheria na uundaji wa faili huendeshwa moja kwa moja kwenye kumbukumbu ya kivinjari chako cha ndani bila ufuatiliaji sifuri au upakiaji wa mbali.

Mapumziko ya Ubongo Haraka

Vipi kuhusu mchezo mdogo wa haraka wa kupumzisha akili?

Je, unahitaji kuburudishwa kiakili kwa dakika 2? Ingia kwenye mchezo wa mafumbo wa kawaida kwenye kivinjari chako.