# KWAIDANOTE
#
# 방침 (은주 결정, 2026-10-02): 검색과 AI 답변에는 다 열어 두고, 학습 전용 크롤러만 막는다.
#
# 이유: 이 사이트의 값어치는 희소성이다. 여기 실린 기록의 상당수는 영어로 읽을 수 있는
# 곳이 여기뿐이고, 수익은 책 판매로 난다. 학습 크롤러는 링크도 클릭도 만들지 않으므로
# 막아도 잃는 것이 없다. 반대로 답변에 인용되고 링크가 붙는 것은 아래 "열어 두는 쪽"이
# 하는 일이라, 그쪽은 계속 열어 둔다.
#
# 열어 두는 쪽 (유입을 만든다 — 막지 말 것):
#   Googlebot · bingbot · OAI-SearchBot · ChatGPT-User · PerplexityBot ·
#   GoogleOther · Applebot · Amazonbot 등. 아래 User-agent: * 가 받는다.
#
# 되돌리려면 아래 학습 크롤러 블록을 지우면 된다.
# 호스팅어 hPanel 에도 봇 차단 설정이 따로 있을 수 있다(GPTBot 이 429를 받고 있었다).
# 이 파일과 별개로 동작하므로, 전부 열려면 그쪽도 확인해야 한다.

# ---- 학습 전용 크롤러 ----
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Timpibot
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: omgili
Disallow: /

User-agent: PanguBot
Disallow: /

# ---- 그 밖의 모든 크롤러 ----
User-agent: *
Allow: /

Sitemap: https://kwaidanote.com/sitemap.xml