# 검색엔진 / AI 크롤러 / 링크 미리보기 스크래퍼 — 허용
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: bingbot
User-agent: Yeti
User-agent: NaverBot
User-agent: Daum
User-agent: Daumoa
User-agent: kakaotalk-scrap
User-agent: facebookexternalhit
User-agent: Facebookbot
User-agent: Twitterbot
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: Anthropic-AI
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot
User-agent: OraBot
User-agent: ora-agent
User-agent: DeepSeekBot
Crawl-delay: 1
Allow: /
Disallow: /login
Disallow: /write
Disallow: /settings

# 학습 전용 크롤러 — 명시적으로 차단한다. 아래 와일드카드 그룹에도 걸리지만, 답변 엔진에
# 인용되는 크롤러와 학습만 가져가는 크롤러를 구분한다는 의사를 명시해 두는 쪽이 낫다.
User-agent: CCBot
User-agent: Bytespider
Disallow: /

# 그 외 모든 봇 — 차단
User-agent: *
Disallow: /

#DaumWebMasterTool:d044151734f8b19ce471b72fab392d34aa3987a960a50408eb740bc753d86628:rL0MUTXlkBx2RVPkKhcQ+A==
Sitemap: https://cacheby.com/sitemaps/index.xml