"봇인가요" 확인 화면이 구글 검색 색인에서 페이지를 제외시킬 수 있다

핵심

보안 목적으로 사용되는 "봇인가요" 확인 화면이 때때로 구글에 일반 콘텐츠처럼 반환되어 색인되면서, 실제 페이지가 색인에서 제외되거나 중복으로 취급될 수 있다.

문제점

사이트의 보안이 방문자를 의심스럽다고 판단하면 실제 콘텐츠 대신 "봇인가요" 페이지를 보여준다. 때로 이 페이지가 정상적인 콘텐츠인 것처럼 구글에 반환되어 색인된다. 그 결과 실제 콘텐츠가 색인에서 제외되거나 이 중간 화면(interstitial)으로 대체될 수 있다.

여러 사이트에서 비슷한 "봇인가요" 화면이 나타나기 때문에, 구글은 유사해 보이는 여러 페이지를 만나게 된다. 중복처럼 보이는 페이지를 감지하면 구글은 하나를 정본(canonical version)으로 선택하고 나머지를 중복으로 판단한다.

색인화에 영향을 미칠 뿐 아니라, 이 문제는 구글이 당신의 콘텐츠의 주요 버전으로 어떤 페이지를 볼지에도 영향을 줄 수 있다. 다른 웹사이트의 페이지를 선택해서, 당신의 페이지가 중복으로 표시될 수 있다.

구글의 John Mueller는 이 문제를 추적하기 어렵다고 설명했다. 구글이 선택한 페이지를 살펴본 다음 원인을 역추적해야 하기 때문이다. 게다가 일반적인 방문자는 "봇인가요" 프롬프트를 절대 만나지 않을 수 있으므로, 사이트 자체를 검토할 때는 문제가 없어 보인다.

왜 발견하기 어려운가

일반 브라우저는 의심 방문자로 표시된 사람에게만 이 화면이 나타나기 때문에 "봇인가요" 화면을 보여주지 않는다. 당신이 접속하면 페이지가 정상적으로 로드될 가능성이 높다.

문제 확인을 위해서는 서치 콘솔(Search Console)로 가야 한다. 페이지 색인 보고서는 페이지를 중복으로 표시하거나 다른 곳에서 정본으로 지정된 것으로 표시한다.

추가로, 서치 콘솔의 URL 검사 도구는 구글이 주요 버전으로 선택한 주소를 보여준다. 그 주소가 당신의 사이트가 아닌 다른 사이트에 속한다면 조사해 볼 가치가 있다.

중요한 이유

때때로 문제는 사이트 자체에 명백한 징후 없이 발생할 수 있는데, 이는 "봇인가요" 화면이 페이지 자체가 아니라 CDN, 호스트, 또는 봇 차단 레이어(bot-protection layer)에 의해 트리거될 수 있기 때문이다. Mueller는 이런 유형의 보안이 크롤링이 진행될 때 활성화될 수 있다고 언급했다.

요청은 성공적으로 통과하므로, 깨진 페이지를 찾으려는 일반적인 본능은 도움이 되지 않는다. 구글이 사이트에 도달할 수 있고 유효한 응답을 받을 수 있으므로, 문제는 잘못된 콘텐츠를 받는 것이다. 그래서 Googlebot이 실제로 보는 것을 인식하지 못하는 검사로는 이 오류가 포착되지 않는다.

유사한 사례로 Mueller가 설명한 "콘텐츠 없이 색인된 페이지" 오류가 있다. 그 경우 웹사이트의 보안 설정이 Googlebot을 조용히 차단했지만 일반 방문자는 허용해서, 구글이 콘텐츠를 받지 못한 채 페이지를 로드했다.

해결 방법

이 문제가 발생하면 보안 서비스, CDN, 또는 웹 호스팅을 담당하는 사람에게 연락해 해결책을 찾도록 한다. 수정 후 서치 콘솔의 '수정 검증' 기능을 통해 구글에 다시 크롤링을 요청한다. 구글은 다음 크롤링 중에도 수정을 감지할 수 있다.