Cloudflare의 AI 크롤러 차단 규칙으로 인한 구글봇 차단 가능성

핵심

Cloudflare가 AI 크롤러 관리 방식을 개선했지만, 새로운 규칙이 검색 인덱싱과 AI 학습 크롤러를 함께 취급해 AI 학습 차단 시 구글봇까지 차단될 가능성이 생겼다.

새로운 크롤러 분류 체계

Cloudflare는 이제 크롤러를 "AI인지 아닌지" 여부가 아니라 사이트에서 하는 행동에 따라 분류한다.

• 검색(Search): 사이트를 색인하여 나중에 질문에 답할 때 사용. Cloudflare는 이 행동을 소개 트래픽(referral traffic)과 연결.
• 에이전트(Agent): ChatGPT-User 또는 Chrome에서 작동하는 Gemini·Claude 같은 브라우저 에이전트처럼, 사람을 대신해 실시간으로 작동하는 봇.
• 학습(Training): 모델을 학습하거나 미세 조정(fine-tuning)할 콘텐츠를 끌어오는 크롤링.

Cloudflare는 봇 운영자가 각 행동마다 별도의 크롤러를 실행해야 한다고 강조. 이렇게 하면 웹사이트가 봇 방문 이유를 파악하고 허용 여부를 결정할 수 있다.

9월 15일 적용되는 변경사항

기본 차단 정책 변경

• 신규 고객 및 기존 고객의 새 사이트에서는 광고가 표시된 페이지에서 학습 및 에이전트 크롤러가 기본으로 차단되고, 검색 크롤러는 허용된다.
• 9월 15일까지 설정을 변경하지 않은 기존 무료 사용자도 이 기본값으로 자동 전환된다.

복합 목적 크롤러에 대한 엄격한 규칙 적용

• Cloudflare는 다용도 크롤러를 전체 행동에 따라 평가하며, 적용되는 가장 엄격한 규칙을 적용한다.
• 예를 들어, 검색과 학습을 모두 수행하는 크롤러는 사이트가 학습을 차단하면 차단된다.
• Cloudflare는 구글봇, 애플봇(Applebot), 빙봇(Bingbot)을 예시로 제시. 각 봇은 검색과 AI 학습을 모두 수행한다.
• 이미 기존의 "AI 봇 차단" 설정을 활성화한 사이트도 이 새 규칙의 적용 대상이 된다.

대응 방법

• 이들 크롤러 접근을 유지하려면 9월 15일 이전에 Cloudflare 대시보드에서 설정을 검토하거나 변경할 수 있다.

크롤러의 콘텐츠 사용에 대한 새로운 신호

Cloudflare는 robots.txt의 콘텐츠 신호(Content Signals)를 확장하는 콘텐츠 사용 신호를 테스트 중이다. 가장 제한적부터 가장 개방적인 순서로 세 가지 값을 가진다.

• 즉각적(immediate): 아무것도 저장하지 않음.
• 참조(reference): 색인하고 다시 링크하는 방식(새 기본값).
• 전체(full): 요약하고 재현하는 방식.

Cloudflare는 이들이 선호도를 나타낼 뿐 자체적으로 차단하지는 않음을 강조한다.

봇 검증(Verified) 정의 개정

• 검증된 봇이 모든 곳에서 자동으로 허용되지는 않는다. 대신 접근은 해당 봇의 카테고리에 따라 달라진다.
• 콘텐츠를 전체적으로 복제하는 봇은 검증 대상에서 제외된다.
• Cloudflare는 Enterprise Bot Management 사용자를 위해 BotBase라는 검색 가능한 봇 디렉터리를 도입. 추적된 각 봇의 분류와 보안 규칙용 복사 가능한 감지 ID를 표시한다.

변경의 배경: 트래픽 데이터

업데이트는 첫 번째 Content Independence Day 1주년을 기념하는 Cloudflare 보고서와 함께 공개됐다.

• AI 학습이 이제 Cloudflare 네트워크의 크롤러 요청 대다수를 차지. 2025년 봄의 약 20%에서 증가했다.
• 일일 AI 에이전트 요청은 1년간 1,700% 이상 증가했다.
• ※ 이 통계는 Cloudflare의 네트워크 트래픽에 기반하며 전체 웹을 대표하지 않는다.

중요한 함의

9월 15일 규칙은 Cloudflare 네트워크에서 AI 학습 차단을 검색 크롤링과 연결한다.

의도하지 않은 검색 차단 위험

• 사이트가 콘텐츠를 AI 모델로부터 보호하기 위해 학습 크롤러를 차단하면, Cloudflare 차단이 네트워크 수준에서 작동하기 때문에 구글봇도 함께 차단될 수 있다.
• robots.txt는 크롤러에 대한 권고 지시일 뿐이고 Google이 무시할 수 있지만, Cloudflare 차단은 우회가 더 어렵다.

검색 가시성에 미치는 영향

• 구글봇의 접근 권한을 잃으면 사이트가 효과적으로 크롤링되지 않아 결국 검색 결과의 가시성에 영향을 미칠 수 있다.
• 지난 1년간 많은 퍼블리셔가 기본 차단(default-deny) 구조로 전환하고 검색 및 학습 봇을 모두 차단해 왔으며, 매번 동일한 노출 위험에 직면했다.

앞으로의 조치

웹사이트 운영자가 할 일

• Cloudflare 사용 사이트는 9월 15일까지 AI 차단 설정을 검토하고 검색 크롤러 허용 여부를 결정해야 한다.
• 복합 크롤러 규칙은 주로 과거에 "AI 봇 차단"을 활성화했으며 그 이후 설정을 조정하지 않은 사용자에게 영향을 미친다.
• 무료 사용자가 설정을 변경하지 않으면 해당 날짜에 새로운 기본값으로 자동 업데이트된다.

업계의 향후 방향

• Cloudflare는 다용도 크롤러 운영자가 향후 1년에 걸쳐 봇을 행동별로 분리하기를 원한다.
• 주요 운영자가 실제로 봇을 행동별로 차별화하는지 여부가 이 기능이 실제 선택이 될지, 아니면 AI 학습 차단과 검색 가시성 유지 사이의 절충안이 될지를 결정할 것이다.