구글, 크롤 예산(Crawl Budget) 문서 업데이트: 모든 사이트는 보수적 크롤 용량으로 시작

핵심

구글이 '크롤 예산 최적화' 페이지를 업데이트했다. 명확성, 용어 일관성, 가독성을 개선하기 위한 것이다.

주요 업데이트 내용

새로 추가된 핵심 설명

• 모든 사이트는 동일한 기본 보수적 크롤 용량 제한으로 시작한다. 크롤 수요가 있고 사이트가 건강하게 유지되면, 구글 시스템이 자동으로 이 제한을 시간 경과에 따라 조정한다.

• 크롤 수요의 영향 요인: 구글봇의 경우 수요는 사이트 규모, 업데이트 빈도, 페이지 품질, 다른 사이트 대비 관련성에 따라 달라진다. 사용자가 영향을 줄 수 있는 주요 요소들이 있다.

• 크롤러별 수요는 다르지만 크롤 용량 제한은 공유된다. 이는 한 크롤러의 높은 수요가 다른 크롤러에 사용 가능한 용량을 줄일 수 있다는 뜻이다.

최적화 권장사항

• 로딩 속도 개선: 서버 응답 시간과 리소스를 최적화해 페이지 로딩 속도를 빠르게 한다.

• HTTP 캐싱 활용: 304(Not Modified) HTTP 상태 코드를 지원한다. 페이지가 구글의 마지막 크롤 이후 변경되지 않았다면, 304 코드를 반환해 구글이 캐시된 버전을 재사용하도록 해서 서버 대역폭과 리소스를 절약할 수 있다.

변경 범위

문서는 광범위하게 수정됐으나, 대부분 구글의 크롤 방식에 근본적인 변화가 아니라 명확성 개선과 표현 개선이다. 구글은 "기술 용어(예: 크롤 용량 제한)가 문서 전체에서 일관되게 사용되도록 하고 설명서를 이해하기 쉽게 만들기 위한" 변경이라고 밝혔다.