마이크로소프트 Clarity, 봇 분석에서 robots.txt 위반 사항 표시 시작
핵심
AI 플랫폼과 크롤러가 콘텐츠 발견에 점점 더 큰 역할을 하면서, 게시자는 단순한 트래픽 규모를 넘어 AI 가시성을 파악해야 한다. 어떤 봇이 콘텐츠에 접근하는지, 무엇을 찾으려 하는지, 그리고 이런 플랫폼이 robots.txt에 정의된 접근 선호도를 존중하는지 알아야 한다.
이번 Bot Analytics 대시보드 업데이트로 Clarity는 robots.txt 봇 위반을 감지하고 표시한다. 봇이 허용되지 않은 URL을 요청할 때를 확인하고, 시간 경과에 따른 위반 추이를 추적하며, 운영사·봇 이름·활동 유형별로 필터링하여 어떤 크롤러가 규칙을 무시하고 어떤 콘텐츠가 비준수 활동을 유도하는지 파악할 수 있다.
새로운 기능
위반 카드(Violations card): 사이트에 대한 봇 요청 중 위반이 차지하는 비율을 보여 봇 활동이 크롤 규칙을 얼마나 무시하는지 빠르게 파악할 수 있다.
위반 추이 라인(Violation trendline): 위반 패턴이 시간에 따라 어떻게 변하는지 추적하여 급증을 감지하고, 지속적 위반자를 모니터링하며, 비준수 활동이 증가하는지 안정화하는지 알 수 있다.
운영사·봇·활동 유형별 필터: 데이터를 세분화하여 robots.txt 지침을 위반하는 운영사와 봇을 파악하고 해당 요청을 야기하는 활동 유형을 분리한다.
봇 접근 대상 확인: 위반을 초래하는 URL과 경로를 검토하여 크롤러가 고가치 콘텐츠, 제한 자원, 또는 경계 밖에 머물러야 할 사이트의 다른 섹션에 접근하려는지 파악한다.
준수 및 비준수 요청 비교: 크롤 선호도를 존중하는 봇과 그렇지 않은 봇을 구분하여 AI 플랫폼과 크롤러가 공개 콘텐츠와 상호작용하는 방식을 더 완전하게 이해할 수 있다.
콘텐츠 수준 가시성: 경로 및 콘텐츠 유형별로 위반 활동을 분석하여 어떤 콘텐츠가 비준수 봇 트래픽을 유도하는지, 어디에 강제 또는 완화 조치가 필요한지 파악한다.
이는 게시자에게 AI 가시성을 평가하는 더 실질적인 방법을 제공한다. 요청 건수에만 의존하지 않고 AI 시스템이 선호도에 부합하는 방식으로 사이트를 발견하고 있는지, 어디서 한계를 넘는지, 콘텐츠의 어떤 부분이 가장 많은 비준수 관심을 끌고 있는지 이해할 수 있다.
시작하기
이 기능을 사용하기 전에 프로젝트 관리자가 Project Settings의 AI Visibility 섹션을 통해 지원하는 CDN(콘텐츠 전송 네트워크)을 연결해야 한다. 지원 CDN에는 Fastly, Amazon CloudFront, Cloudflare가 포함된다.
최신 마이크로소프트 Clarity 플러그인을 사용하는 WordPress 사이트는 AI Bot Activity가 자동으로 제공된다. 이전 버전의 Clarity 플러그인을 실행 중인 사이트는 기능에 접근하려면 업데이트해야 한다.
CDN이 연결되면 robots.txt 위반 인사이트에 접근할 수 있다.
- Clarity에서 프로젝트를 열고 Bot Analytics 대시보드로 이동한다.
- Violations 카드를 찾아 robots.txt 지침을 위반하는 봇 요청의 비율을 검토한다.
- 운영사, 봇 이름, 활동 유형 필터를 사용하여 조사하려는 크롤러와 행동으로 보기를 좁힌다.
- 위반 URL, 경로, 콘텐츠 유형을 검토하여 봇이 접근하는 대상과 어떤 콘텐츠가 비준수 활동을 유도하는지 파악한다.
- 시간에 따른 준수 및 비준수 요청을 비교하여 패턴을 파악하고 모니터링, 강제, 콘텐츠 보호 워크플로우를 업데이트할지 결정한다.
이 기능은 현재 Clarity에서 제공된다. Bot Analytics를 이미 사용 중이면 위반 인사이트를 바로 사용할 수 있다.