2026년 10월 현재 Cloudflare의 AI 봇 기본 설정이 주로 겨냥하는 대상은 스스로 정체를 밝히는 크롤러입니다. 광고를 게재한다고 밝힌 신규 도메인은 이제 AI 학습 거부, 광고 페이지에서의 AI 에이전트 차단 상태로 시작하며, 검색 크롤러는 계속 허용됩니다. 가격 모니터링, SEO 감사 같은 'Data Collection' 트래픽은 이 세 가지 프리셋 밖에 있어 예전과 같은 봇 규칙으로 판단됩니다. 데이터 팀에게 중요한 변화는 새로운 장벽이 아닙니다. 스스로 정체를 밝히는 봇이 되어야 할 이유가 더 강해졌다는 점, 그리고 예전에는 완전히 닫혀 있던 콘텐츠에 결제 경로(Pay Per Crawl, 9월 30일부터는 Pay Per Use)가 생겼다는 점입니다.
찾아볼 수 있는 기사 상당수는 이미 낡은 정보입니다. Cloudflare는 2026년 7월 1일에 한 가지 계획을 발표했고, 9월 15일에 수정된 계획을 출시했습니다. 아래 타임라인은 Cloudflare 자체 블로그와 문서에서 실제로 출시됐다고 밝힌 내용을 따릅니다.
2026년 10월 현재 Cloudflare의 AI 봇 기본 설정
요약하면 이렇습니다. 이제 Search, Agent, Training은 Free를 포함한 모든 Cloudflare 요금제에서 별개의 스위치 세 개이며, 각각 Allow, Block on pages with ads, Block으로 설정할 수 있습니다. Training에는 네 번째 옵션인 Disallow AI Training이 있습니다. 신규 도메인은 소유자가 광고로 수익을 내는지에 따라 권장 프리셋을 받습니다. 기존 도메인은 이전 설정의 효과를 그대로 유지했습니다.
| 날짜 | 변경 내용 | 출처 |
|---|---|---|
| 2025년 7월 1일 | 'Content Independence Day': 신규 도메인은 기본적으로 알려진 AI 크롤러를 차단. Pay Per Crawl 비공개 베타 시작. | Cloudflare 보도자료 |
| 2025년 8월 4일 | 범용 macOS용 Chrome user agent와 IP/ASN 교체를 이용한 미선언 크롤링을 문서화한 뒤, Cloudflare가 Perplexity를 검증된 봇 목록에서 제외. | Cloudflare 블로그 |
| 2025년 8월 28일 | '서명 에이전트(signed agents)' 도입: Web Bot Auth 서명으로 식별되는 사용자 지시형 에이전트. | Cloudflare 블로그 |
| 2026년 7월 1일 | 새 분류 체계(Search / Agent / Training과 그 밖의 8가지 행동). Cloudflare가 9월 15일 기본값을 발표: 신규 도메인의 광고 페이지에서 Training과 Agent 차단, Googlebot 같은 다목적 크롤러도 Training 차단에 포함. | Cloudflare 블로그, 변경 로그 |
| 2026년 8월 21일 | Bot Preference Sync: Search/Agent/Training 설정을 바탕으로 robots.txt를 생성. | Cloudflare 블로그 |
| 2026년 9월 15일 | 수정된 계획 출시. 'Disallow AI Training' 추가, Apple·Google·Microsoft에 'Accountable' 라벨 부여, 기존 'Block AI bots'와 managed robots.txt는 지원 중단. | Cloudflare 블로그 |
| 2026년 9월 30일 | Pay Per Use 베타 시작(콘텐츠를 가져올 때가 아니라 사용할 때 지불). 요청 단위 x402 결제를 위한 Monetization Gateway 베타 시작. | Cloudflare 블로그 |
7월 계획과 9월 15일 실제 출시 내용의 차이
7월 발표에서는 고객이 Training을 차단하면 'Googlebot, Applebot, BingBot 같은' 다목적 크롤러도 '차단된다'고 했습니다. 그대로였다면 사이트가 검색에서 빠졌을 것입니다. 9월 15일 게시물이 이 내용을 대체했습니다. Disallow AI Training에서는 Cloudflare가 robots.txt에 학습 금지 선호를 기록합니다. Accountable 다목적 크롤러(Applebot, Bingbot, Googlebot)는 검색용으로 계속 허용되며, 'Amazon, Anthropic, Meta, OpenAI가 운영하는 학습 전용 크롤러를 포함해 그 밖의 모든 학습 크롤러는 차단됩니다.' 이제 Googlebot을, 그리고 그와 함께 검색 노출을 막는 것은 명시적인 Block이나 Block on pages with ads뿐입니다.
현재 Cloudflare가 신규 도메인 온보딩 시 제시하는 프리셋은 다음과 같습니다.
| 설정 | 광고를 게재하지 않는 사이트 | 광고로 수익을 내는 사이트 |
|---|---|---|
| Bot Preference Sync (robots.txt) | 활성화 | 활성화 |
| Search | Allow | Allow |
| Training | Allow | Disallow AI Training |
| Agent | Allow | Block on pages with ads |
기존 도메인의 경우, Cloudflare 마이그레이션 안내에 따르면 예전 'Block AI bots' 토글을 한 번도 켜지 않은 도메인은 세 항목 모두 Allow로 전환됩니다. 토글을 켜 두었던 도메인은 Disallow AI Training으로 옮겨집니다. TechCrunch는 7월 1일 보도에서 새 기본값이 '기존 무료 고객 전체'에도 적용된다고 했습니다. Cloudflare의 9월 15일 마이그레이션 표에는 그런 내용이 없으니, 어느 쪽도 가정하지 말고 대상 사이트를 직접 확인하십시오.
Search, Agent, Training: 요청은 어떻게 분류되는가
Cloudflare는 요청을 개별적으로 분류하지 않고 봇을 분류합니다. 알려진 봇은 Cloudflare의 봇 디렉터리인 BotBase에서 하나 이상의 행동 라벨을 받습니다. 그러면 각 프리셋은 Block AI Bots 문서에 따라 '해당 행동으로 분류된 Verified 봇과, 이 분류에 해당하는 추가 미검증 봇'을 차단합니다.
- Search: 나중에 질문에 답하기 위한 검색 인덱스나 RAG 데이터베이스를 만드는 크롤링.
- Agent: 사용자 지시형으로 대개 실시간으로 동작. ChatGPT-User 같은 채팅 페처나 Chrome을 조작하는 브라우저 사용 에이전트.
- Training: 모델을 학습하거나 파인튜닝하기 위한 크롤링.
Verified bots 페이지에는 세 가지 AI 프리셋에 속하지 않는 행동이 여덟 가지 더 나와 있습니다. Transact, Data Collection('가격 스크래핑, 경쟁 정보 수집, 서드파티 분석'), Security Testing, SEO, Ads Verification, Social/Link Preview, Feed Fetching, Monitoring & Operations입니다. 여러 목적을 가진 크롤러는 이제 해당하는 모든 행동으로 추적되며, 일치하는 규칙 중 가장 엄격한 것이 적용됩니다.
신원은 다음 세 가지 중 하나에서 나옵니다.
- Verified 봇 또는 에이전트. 운영자가 신청했고 Cloudflare가 신원을 결정론적으로 확인합니다. 즉 Web Bot Auth 서명(IETF 초안에 따라
/.well-known/http-message-signatures-directory에 Ed25519 키 게시), 고정 user agent와 함께 공개된 IP 목록, 또는 역방향 DNS입니다. 2026년 7월 1일부터 서명 에이전트도 Verified로 간주됩니다. 이들은 Direct(운영자 하나) 또는 Intermediary(다수의 최종 사용자가 조작하는 플랫폼)로 라벨이 붙습니다. - 알려졌지만 검증되지 않은 봇. 트래픽이 Cloudflare가 특정 크롤러 범주로 판단하는 패턴과 일치하는 경우입니다. 예를 들어 Perplexity 조사 이후 추가한 휴리스틱이 있습니다.
- 그 밖의 모든 것. 일반적인 봇 탐지(봇 점수, 핑거프린트, 챌린지)가 판단합니다. 이 계층은 이번 변화 이전부터 있었습니다. 챌린지 쪽이 세션을 어떻게 점수화하는지는 Turnstile 내부 구조 글에서 다룹니다.
Verified라고 해서 더 이상 통과가 보장되지는 않습니다. Cloudflare는 2026년 7월 1일 정의를 바꿨습니다. Verified 봇은 사이트 소유자가 허용한 범주 안에서 '허용 가능한' 봇입니다. 정직하게 신원을 밝히면 올바르게 분류될 뿐이고, 들여보낼지는 여전히 사이트 소유자가 결정합니다.
'기본 차단'이 실제 요청에서 의미하는 것
여기서 '차단'은 최대 세 가지의 서로 다른 메커니즘을 뜻합니다. 어느 것에 걸리느냐에 따라 크롤러가 보는 결과가 달라집니다.
1. robots.txt의 선호 표시
Bot Preference Sync(managed robots.txt의 후속 기능)는 존 설정으로 생성한 규칙을 기존 robots.txt 앞에 덧붙이므로, 직접 작성한 Disallow 줄은 그대로 남습니다. Cloudflare 문서 예시의 관리형 파일에는 Content Signals 줄과 크롤러별 disallow가 들어 있습니다.
User-Agent: *
Content-signal: search=yes, ai-train=no, use=reference
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /머리말은 이 신호가 EU DSM 저작권 지침(2019/790) 제4조에 따른 '명시적 권리 유보'라고 밝힙니다. robots.txt 자체는 자율 규약이지만, EU에서 텍스트·데이터 마이닝에 대해서는 법적 효력이 있습니다.
2. 엣지 차단
존이 해당 범주를 차단하면 요청은 오리진에 닿기 전에 Cloudflare 엣지에서 거부됩니다. Pay Per Crawl 문서는 이 경우를 HTTP 403과 crawler-error: CrawlerForbidden으로 설명합니다. Block on pages with ads에서는 같은 크롤러가 한 URL에서는 200을, 같은 도메인의 다른 URL에서는 차단을 받을 수 있습니다. Cloudflare는 광고 게재 페이지를 자동으로 감지하며, 그 목록이 'robots.txt에 나열하기에는 너무 크고 너무 자주 바뀐다'고 말합니다. 외부에서는 어떤 페이지가 해당되는지 예측할 수 없습니다.
3. 가격: HTTP 402와 Pay Per Crawl
Pay Per Crawl을 쓰는 존(2026년 10월 현재 여전히 비공개 베타)에서는 결제 의사를 밝히지 않은 검증된 크롤러가 가격이 담긴 402를 받습니다.
HTTP/2 402
crawler-price: USD 0.01Cloudflare의 crawl-pages 문서에 따르면, 크롤러는 crawler-exact-price(crawler-price와 일치해야 함)나 crawler-max-price 중 정확히 하나를 붙여 재시도합니다. 결제 헤더는 Web Bot Auth signature-input 구성 요소에 포함되어야 합니다. 결제된 200 응답에는 crawler-charged: USD 0.01이 붙습니다. 실패하면 crawler-error 헤더가 돌아옵니다. 코드로는 MissingCrawlerPrice(402), InvalidCrawlerMaxPrice(402), ConflictingPriceHeaders(400), StrongAuthRequired(400) 등이 있습니다. 결제할 수 있는 것은 서명하는 검증된 크롤러뿐입니다. 익명 스크레이퍼에는 결제 경로가 아예 없습니다. 또한 WAF나 Bot Management 차단은 '과금' 동작보다 우선합니다.
크롤러를 운영한다면 402를 우회해서 재시도할 실패가 아니라 데이터로 다루는 습관이 유용합니다. requests를 사용한 최소 패턴은 다음과 같습니다.
import requests
def fetch(url, session: requests.Session):
r = session.get(url, timeout=30)
if r.status_code == 402 and "crawler-price" in r.headers:
# 유료 콘텐츠: 라이선스/예산 결정을 위해 기록해 둔다.
return {"url": url, "status": 402, "price": r.headers["crawler-price"]}
if r.status_code == 403 and r.headers.get("crawler-error") == "CrawlerForbidden":
# 소유자가 이 크롤러를 거부했다. URL을 제외하고, IP를 바꿔 우회하지 않는다.
return {"url": url, "status": 403, "refused": True}
r.raise_for_status()
return {"url": url, "status": r.status_code, "body": r.text}9월 30일 베타로 출시된 Pay Per Use는 방식이 다릅니다. 요청 시점에 결제가 일어나지 않습니다. 구매자가 '사용'(예: AI 검색에서 반환되는 발췌문)을 정의하면 퍼블리셔가 제안을 수락하거나 거절하고, 구매자는 각 사용을 Cloudflare API에 자진 보고하며 Cloudflare가 매월 청구합니다. TechCrunch에 따르면 처음 이름이 공개된 파트너는 Ceramic.ai와 You.com이었습니다.
영향을 받는 쪽과 받지 않는 쪽
새 기본값은 스스로 AI라고 밝히는 크롤러에 가장 큰 변화를 주고, 애초에 AI 범주에 속하지 않던 트래픽에는 가장 작은 변화를 줍니다. 회피는 예외 사유가 되지 않습니다.
스스로 정체를 밝히는 학습 크롤러(GPTBot, ClaudeBot, CCBot, Bytespider 등)가 가장 분명한 경우입니다. 광고 기반 신규 도메인에서는 기본적으로 거부됩니다. 다른 많은 존에서도 차단되거나 유료입니다. 선택지는 정직한 것뿐입니다. 거부를 존중하거나, Pay Per Crawl이나 Pay Per Use가 제공되는 곳에서 비용을 내거나, 직접 라이선스를 맺는 것입니다.
사용자를 위해 페이지를 가져오는 AI 에이전트 제품이 새로운 대상입니다. 광고 기반 신규 도메인에서 에이전트는 기본적으로 광고 페이지에서 차단됩니다. 에이전트용 robots.txt 같은 표준이 아직 없기 때문에 에이전트에는 'Disallow' 변형도 아직 없습니다. Cloudflare는 ai-prefs 같은 제안이 성숙하면 이를 다시 검토하겠다고 밝혔습니다. 요청에 서명하면(서명 에이전트로) 최소한 익명 봇이 아니라 에이전트로 분류됩니다. 에이전트를 허용하는 모든 존에서 이 차이가 중요합니다.
평범한 브라우저 user agent를 쓰는 스크레이퍼는 Cloudflare가 AI 범주로 판단하지 않는 한 'AI 프리셋' 로직의 적용을 받지 않습니다. 그렇다고 안전한 것은 아닙니다. 봇 점수, JavaScript 챌린지, 속도 제한은 여전히 적용됩니다. 실제로 학습 데이터셋이나 답변 엔진에 데이터를 공급하고 있다면, 2025년 Perplexity가 검증 목록에서 제외된 바로 그 행동을 하는 셈입니다. Cloudflare는 각 범주에 해당하는 '추가 미검증 봇'을 명시적으로 차단합니다. 저희는 AI 크롤러를 사람 방문자로 위장하는 일을 돕지 않습니다. 윤리 문제를 떠나서도, 네트워크가 행동 패턴을 대조하기 시작하면 이길 수 없는 게임입니다.
사내 가격 모니터는 Data Collection에 속하며, 이는 세 가지 프리셋에 포함되지 않습니다. 9월 변경만으로는 접근성이 달라지지 않습니다. 결정 요인은 사이트가 이미 운영 중인 것들, 즉 Bot Fight Mode, Bot Management 규칙, 속도 제한입니다. 이런 오류 코드는 Cloudflare 차단에 대한 화이트햇 가이드에서 하나씩 설명합니다.
데이터 팀을 위한 의사결정 표
무엇을, 왜 수집하는지에서 출발하십시오. 그것이 범주를 정하고, 범주가 선택지를 정합니다.
| 수집 대상 | 예상 Cloudflare 범주 | 2026년의 변화 | 권장 접근법 |
|---|---|---|---|
| 사전 학습이나 파인튜닝용 웹 텍스트 | Training | 광고 기반 신규 도메인에서 기본 거부. 이제 Block은 다목적 크롤러도 막음 | 이름을 밝힌 별도의 학습 크롤러를 운영. robots.txt와 Content Signals 준수. 제공되는 곳에서는 라이선스 또는 Pay Per Crawl/Use 이용. 학습을 검색 봇에 섞지 말 것 |
| RAG나 AI 검색 제품용 인덱스 | Search (인덱싱하고 원문 링크를 거는 경우) | 여전히 기본 허용. use=reference가 기본 콘텐츠 사용 수준 | 학습 크롤러와 분리. 발췌와 링크 방식 유지. Web Bot Auth로 Verified 상태 신청 |
| 사용자 프롬프트에 따라 실시간으로 가져오는 페이지 | Agent | 광고 기반 신규 도메인의 광고 페이지에서 차단 | 서명 에이전트로 요청에 서명. 작업에 필요한 것만 가져오기. 차단 시 대안 제공. 공식 API가 있으면 사용 |
| 경쟁사 가격, 재고, MAP 준수 여부 | Data Collection | AI 프리셋에 따른 새 기본값 없음 | 상품 페이지로 범위 한정. 속도 제한과 robots.txt 준수. 피드/파트너 API 우선. 가격이 필요한 시장의 이그레스 사용 |
| 자사 또는 고객 사이트의 SEO 감사, 순위 확인 | SEO | 새 기본값 없음 | 관리하는 사이트에서는 크롤러를 허용 목록에 추가. 그 밖에서는 user agent로 신원 표시 |
| 광고 게재 확인 | Ads Verification | 새 기본값 없음. Cloudflare가 소유자가 허용할 만한 범주로 언급 | 선언된 검증용 크롤러 사용. 퍼블리셔와 조율 |
| RSS/뉴스 피드 | Feed Fetching | 새 기본값 없음 | HTML 대신 피드를 폴링. Cache-Control과 조건부 요청 준수 |
가격 모니터링 행에 대해 두 가지를 덧붙입니다. 첫째, '지역에 맞는 이그레스'란 현지 쇼핑객이 보는 가격을 본다는 뜻이지 정체를 숨긴다는 뜻이 아닙니다. ProxyHat에서는 사용자 이름 플래그로 지정합니다. 예: http://USERNAME-country-DE:PASSWORD@gate.proxyhat.com:8080. 그 주변 파이프라인은 가격 모니터링 가이드에서 다룹니다. 둘째, 요청량은 여전히 가장 빨리 표적이 되는 원인입니다. 사이트가 용인하는 백오프는 속도 제한 해설에서 설명합니다.
광고 기반 퍼블리셔가 이를 요구한 이유
광고는 사람이 페이지를 볼 때만 수익이 됩니다. Cloudflare의 표현을 빌리면 '학습은 그 방문을 답변으로 대체하고, 에이전트는 광고를 볼 사람 없이 페이지를 가져갑니다.' 광고 페이지용 프리셋이 더 엄격한 이유입니다. Cloudflare의 9월 15일 게시물은 이 차이를 수치로 보여 줍니다. Search 봇을 차단하는 사이트는 1% 미만인 반면, 17%는 학습을 막는 메커니즘을 하나 이상 켜 두었습니다. 퍼블리셔는 검색에는 계속 노출되고 싶지만 모델에 콘텐츠를 공짜로 제공하고 싶지는 않습니다. 그런데 9월 이전에는 Google 검색을 잃지 않고는 Googlebot의 학습 활용을 막을 수 없었습니다. Disallow AI Training과 Accountable 약속은 이 딜레마에 대한 Cloudflare의 답입니다. Pay Per Use는 '거절'을 '대가를 받고 허락'으로 바꾸려는 시도입니다.
이번 변화로 달라지지 않는 것
- Cloudflare를 쓰지 않는 사이트. Akamai, DataDome, HUMAN, 자체 구축 스택에는 각자의 규칙이 있습니다.
- 일반적인 봇 방어. 봇 점수, Turnstile, 속도 제한, WAF 규칙은 예전처럼 작동합니다. Data Collection 크롤러도 여전히 이것들에 차단될 수 있습니다.
- robots.txt를 통한 Bing 학습 거부. Microsoft는 2027년 초를 목표로 robots.txt의 학습 금지 지원을 만들고 있습니다. 그때까지 Disallow AI Training은 그 방식으로 Bing에 선호를 전달하지 못합니다.
- 예측 가능성. 광고 감지는 문서화되어 있지 않고, 소유자는 언제든 프리셋을 바꿀 수 있습니다. 대상마다 robots.txt와 응답 헤더를 직접 읽으십시오. 블로그 요약(이 글 포함)에 의존하지 마십시오.
- 법적 지위. 범주 라벨은 저작권, 계약, 개인정보 문제를 결정하지 않습니다. Content Signals의 제4조 권리 유보는 봇 점수와 관계없이 EU에서 적용됩니다.
다음 크롤링 전에 확인할 짧은 체크리스트
- 크롤러마다 목적을 적어 두십시오. 봇 하나가 검색과 학습을 함께 한다면 분리하십시오. Cloudflare는 이제 모든 목적을 추적하며, 가장 엄격한 규칙이 적용됩니다.
- 연락처 URL이 포함된 정직하고 고정된 user agent를 쓰십시오. 비용이 들지 않으며 검증의 전제 조건입니다.
Content-signal을 포함해 robots.txt를 읽으십시오.Disallow만이 아니라ai-train,search,ai-input,use도 파싱하십시오.- 402와
crawler-error를 명시적으로 처리하십시오. 가격은 기록하고, 거부된 URL은 수집 금지 목록으로 보내십시오. - 에이전트나 크롤러를 대규모로 운영한다면 Web Bot Auth를 검토하십시오. Pay Per Crawl에 필수이며 Verified 상태로 가는 경로입니다.
- 무료 크롤링을 거부하는 퍼블리셔의 콘텐츠를 정기적으로 필요로 한다면, 라이선스가 있는 출처(API, 데이터 제휴, Pay Per Use)를 우선하십시오.
2026년의 변화는 한 방향을 가리킵니다. 자신이 누구이며 무엇을 하는지 밝히는 크롤러는 1년 전보다 정당한 선택지가 늘었고, 위장한 크롤러는 줄었습니다. 이런 규칙 아래에서 에이전트나 LLM 데이터 작업용 인프라를 고르고 있다면, AI 에이전트용 프록시 가이드에서 프록시가 도움이 되는 경우와 그렇지 않은 경우를 다룹니다.
