unavailable_after 메타 속성의 문제점 — 구글이 변경된 날짜를 인식하지 못할 수 있다

핵심

구글은 unavailable_after 메타 속성을 지원하여 특정 날짜/시간 이후 페이지를 검색 결과에서 제거하도록 지시할 수 있다. 하지만 이 속성의 날짜를 변경하려고 해도, 구글이 원래 지정한 날짜 전까지는 해당 페이지를 재크롤링하지 않을 수 있어 업데이트된 날짜를 인식하지 못하는 문제가 있다.

배경

• 도입 시기: 구글은 2007년 7월부터 unavailable_after을 지원해 왔다.
• 주요 용도: 검색 인덱스에서 특정 날짜 이후 노출되지 않기를 원하는 콘텐츠, 더 이상 판매하지 않는 제품 등에 사용되었다.

실제 사례와 문제점

구글의 게리 일리에스(Gary Illyes)가 링크드인에서 설명한 시나리오:

• 콘텐츠 수명: 일반적으로 광고나 단기 상품 목록은 24~72시간 동안만 노출되며 "매우 짧은 수명"을 가진다.
• 날짜 연장 필요성: 광고주가 광고를 갱신하면 unavailable_after 날짜를 72시간 이후로 동적으로 연장해야 할 수 있다.

질문자(하비에르 로렌테 무릴로, Javier Lorente Murillo)의 문제:

광대한 404 오류와 크롤 예산 낭비를 방지하기 위해 단기 목록 전체에 unavailable_after 메타 태그를 적용하려고 했다. 하지만 사용자가 광고를 갱신할 수 있으므로, 시스템은 unavailable_after 날짜를 동적으로 미래로 계속 밀어야 한다. 그는 다음을 우려했다:

• 구글봇이 같은 URL에서 unavailable_after 날짜가 계속 변할 때 부정적인 SEO 영향이 있을까?
• 구글봇이 이런 빈번한 변경으로 인해 결국 해당 태그를 무시하기 시작할까?
• 높은 회전율 환경에서 동적으로 unavailable_after를 사용하는 것이 정말 괜찮을까?

구글의 답변

게리 일리에스의 응답:

"내 직감으로는 unavailable_after 날짜를 앞으로 밀어도 괜찮을 것 같다. 다만 새로운 날짜를 '보기' 위해서는 페이지를 다시 크롤링해야 한다는 점을 명심해야 한다. 이것이 인덱스 선택(index selection) 외에 다른 것에 미치는 영향은 없으며, 여기서는 '이제 이 페이지를 빼도 된다'는 신호로 작동한다."

핵심 문제

간단히 말해, 이 방법은 작동할 수 있지만 구글에 특정 날짜와 시간에 페이지를 제거하도록 지시하면, 구글이 그 지시를 존중하고 원래 크롤링하고 처리한 날짜로부터 새로운 날짜가 있는지 확인하지 않을 수 있다는 뜻이다. 즉, 타이밍 측면에서 작동하지 않을 수도 있다.

대안 고려사항: URL이 완전히 만료된 후에 unavailable_after 날짜를 설정하고, 실제로 만료되는 시점으로 날짜를 지정하는 것이 낫지 않을까 하는 생각이 든다. 물론 이렇게 하면 해당 페이지가 구글 검색 결과에 더 오래 노출될 수도 있다는 문제가 있다.