구글, Cloudflare의 Content Signals robots.txt 지시문 효과 없다고 명시

핵심

구글의 존 뮬러는 Cloudflare가 지난해 만든 Content Signals robots.txt 지시문이 "크롤러나 LLM에 전혀 효과가 없으며" robots.txt 파일에만 불필요한 코드를 추가할 뿐이라고 설명했다.

뮬러의 발언 내용

• llms.txt나 llms-author.txt: 구글은 이들을 사용하지 않으며, SEO 도구를 제외하고 다른 크롤러나 LLM이 사용한다는 확인된 사례가 없음
• Content Signals robots.txt 지시문: CDN(콘텐츠 전송 네트워크)이 만들었으나 어떤 크롤러나 LLM도 이를 인식하지 않음
  • 실제 효과: 없음
  • 결과: robots.txt 파일에 불필요한 코드 추가와 향후 유지보수 부담만 가중
  • 크롤러들은 자신이 지원하는 지시문만 인식하고 나머지는 무시함

배경 정보

• Cloudflare의 정책: 2026년 9월 15일을 기한으로 새로운 기본값 적용
  • Training(학습) 및 Agent(에이전트) 분류: 광고 표시 페이지에서 기본적으로 차단
  • Search(검색): 기본적으로 허용
• Cloudflare의 영향력: 2026년 1월 기준 인터넷의 약 21.3%의 웹사이트가 이용 중

결론

뮬러는 구글이 아직까지 Content Signals robots.txt 지시문을 따르지 않고 있으며, 향후 이를 지원할 계획도 없는 것으로 보인다.