구글, 크롤 예산 절감을 위해 304 상태 코드 사용 권장

핵심

구글이 크롤 예산(crawl budget) 최적화 문서를 업데이트했다. 변경되지 않은 페이지에 대해 304 상태 코드를 반환할 것과 여러 크롤러가 웹사이트의 크롤 용량을 공유한다는 정보를 새로 추가했다.

업데이트 대상

• 대상 웹사이트: 100만 개 이상의 페이지를 보유한 대규모 엔터프라이즈 사이트 또는 1만 개 이상의 페이지를 빠르게 변경하는 중규모 사이트
• 모든 웹사이트를 대상으로 한 것은 아니나, 페이지 크롤링의 원리를 이해하는 데 유용한 정보 포함

구글 크롤러들의 용량 공유

구글은 새로운 설명을 추가했다:

• 각 크롤러는 서로 다른 크롤 수요를 가지고 있지만, 크롤 용량 한계는 모든 크롤러에 걸쳐 공유된다
• 한 크롤러의 높은 수요가 다른 크롤러의 사용 가능 용량을 줄일 수 있다
• 예시: Googlebot-Image와 Googlebot이 모두 같은 웹사이트의 크롤 예산을 공유하므로, 한 봇의 크롤링 속도가 높으면 다른 구글 크롤러의 용량에 영향을 미친다

304 Not Modified 상태 코드 권장

304의 정의 및 역할

• 304 Not Modified: 하이퍼텍스트 전송 프로토콜(HTTP) 상태 코드로, 요청된 자원을 다시 전송할 필요가 없음을 나타낸다
• 기술적으로는 3xx 리다이렉션 코드에 분류되지만, 실제 리다이렉션이 발생하지는 않는다

구글의 권장사항

구글 문서는 다음과 같이 명시했다:

"HTTP �싱 사용: 304 (Not Modified) HTTP 상태 코드를 지원하라. 페이지가 구글의 마지막 크롤 이후 변경되지 않았다면, 304 코드를 반환하면 구글이 캐시된 버전을 재사용하도록 하여 서버 대역폭과 리소스를 절감할 수 있다."

304의 작동 방식

• 구글 크롤러에게 페이지가 마지막 크롤 이후 변경되지 않았음을 알린다
• 서버가 페이지를 Googlebot에 제공하지 않는다
• Googlebot은 다른 페이지 색인 작업에 집중할 수 있다

추가 정보

• 문서의 두 가지 주요 변경 사항 외에도 세부 사항을 더 정확하게 다듬는 변경이 여러 곳에 있다