Robots.txt 생성기

무료 온라인 Robots.txt 생성기 & 크롤러 규칙 설정

검색 엔진 및 AI 크롤러 접근 허용/차단 규칙, 사이트맵 등록, 크롤 지연 시간(Crawl-delay) 설정을 브라우저에서 100% 실시간 생성하세요.

빠른 프리셋 적용:

1. 대상 크롤러 (User-agent)

Applies globally to all search engine crawlers and bots via User-agent: *.

Appends a dedicated Disallow block for LLM crawlers without affecting search engines.

2. 디렉토리 접근 제어 규칙

#1
#2
#3
#4
Quick Add:

3. 사이트맵 & 크롤 딜레이

Add full URL(s) including https://. You can add multiple sitemaps separated by line breaks.

Used by Bingbot, YandexBot, etc., to control request frequency. (Googlebot ignores Crawl-delay).

실시간 생성된 robots.txt

robots.txt
# robots.txt generated by Tool 200 (https://tool200.com)
# 100% Client-Side Free Robots.txt Generator

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/
Allow: /

# Sitemap location(s)
Sitemap: https://example.com/sitemap.xml
클라이언트 사이드에서 100% 안전하게 생성되며 서버에 저장되지 않습니다.

Tool 200 온라인 Robots.txt 생성기를 사용하는 이유

검색 로봇과 인공지능 봇의 크롤링 경로를 정밀하게 제어하고, 불필요한 서버 부하 방지 및 SEO 크롤링 예산을 최적화하세요.

정밀한 크롤러 및 경로 접근 제어

구글봇, 빙봇 등 검색 엔진부터 GPTBot, ClaudeBot 등 AI 스크래퍼까지 모든 로봇 또는 특정 봇별 Allow/Disallow 규칙을 세밀하게 정의합니다.

사이트맵 및 크롤 딜레이 지원

XML 사이트맵 URL을 지정하여 검색 엔진 인덱싱을 돕고, 서버 과부하를 막기 위해 Crawl-delay 주기를 손쉽게 구성합니다.

100% 클라이언트 브라우저 보안

입력된 모든 도메인 및 경로 데이터는 서버로 전송되지 않고 브라우저 단에서 안전하게 처리되어 파일 다운로드 및 복사를 지원합니다.

잠깐의 두뇌 휴식

머리도 식힐 겸 가벼운 미니게임 어떠세요?

작업 중 잠시 두뇌를 환기할 수 있는 무료 웹 브라우저 게임 컬렉션입니다.