애플, 에이아이 기능 반영해 애플봇 문서 업데이트

핵심

애플이 자사 웹 크롤러 에이아이봇(Applebot)의 공식 문서를 업데이트하여 생성형 에이아이 모델 학습 및 데이터 활용, 웹 퍼블리셔의 옵트아웃 방법을 새로이 명시했다.

에이아이 관련 변경사항

에이아이 섹션이 추가되었으며, 그 내용은 다음과 같다:

• 에이아이봇 크롤링 데이터 활용: 에이아이봇이 수집한 데이터는 애플 제품 및 서비스에 표시되는 출력물을 생성할 때 추가 맥락과 최신 콘텐츠를 제공하기 위해 사용될 수 있다
  • 예시: 시리와 검색에서 광범위한 일반 상식 질문에 답할 때, 답변 생성에 도움이 된 출처와 웹사이트 링크를 포함할 수 있다
• 옵트아웃 방법: 웹 퍼블리셔는 특정 콘텐츠에 부분발췌(nosnippet) 메타 태그를 적용하여 자신의 콘텐츠가 광범위 일반 상식 답변에 사용되지 않도록 할 수 있다

부분발췌(nosnippet) 제어

• 크롤링 가능성: 에이아이봇-확장(Applebot-Extended)을 거부하고 웹사이트 콘텐츠에 부분발췌 메타 태그를 적용하더라도, 웹사이트 지침에 따라 에이아이봇이 여전히 웹페이지를 크롤링할 수 있다. 콘텐츠는 스포트라이트, 시리, 사파리 및 애플 기기의 기타 시스템 전반 기능을 통해 계속 검색 가능하다
• 에이아이 출력 제외: 부분발췌 태그가 붙은 데이터는 애플 제품 및 서비스의 출력 생성 시 추가 맥락과 최신 콘텐츠로 사용되지 않는다

크롤 지연

• 지연 미준수: 에이아이봇은 크롤 지연 지시를 따르지 않는다
• 효율성 최적화: 에이아이봇은 효율성을 위해 설계되었으며, 사이트 소유자의 영향을 최소화하도록 자동으로 조정된다
  • 서버 과부하를 피하기 위해 사이트 속도가 저하되거나 오류가 반환될 때 크롤링 속도가 자동으로 조정된다
  • 애플은 불필요한 크롤링을 줄이기 위해 크롤링된 콘텐츠를 캐싱한다
  • 크롤링이 불필요한 콘텐츠를 식별하면 사이트 소유자의 인프라 비용을 낮추고 인터넷 전체의 효율성을 높인다

엑스-로봇-태그(X-Robots-Tag) HTTP 헤더

• 지원 기능: 에이아이봇은 엑스-로봇-태그 HTTP 응답 헤더를 통해 전달되는 인덱싱 지시를 지원한다
• 사용 시점: 메타 태그를 사용할 수 없는 비(非) HTML 자료(예: PDF, 이미지)이거나 서버 수준에서 지시를 적용하려 할 때 유용하다
• 적용 방법: X-Robots-Tag: applebot: nosnippet 형식으로 지시를 적용한다

유료 콘텐츠 표시

• 스키마.org isAccessibleForFree 프로퍼티 지원: 에이아이봇은 페이월(paywall), 미터링 접근, 또는 구독이 필요한 페이지를 식별하기 위해 이 프로퍼티를 지원한다
• 구현 방법: JSON-LD 형식의 페이지 수준 구조화된 데이터에 프로퍼티를 추가한다

접근성

• 유료 콘텐츠 처리: isAccessibleForFree: false로 표시된 페이지는 검색 결과에 나타날 수 있지만, 에이아이봇은 애플 제품 및 서비스 출력 생성 시 이 콘텐츠를 추가 맥락으로 사용하지 않는다
• 신호 범위: 이 신호는 페이지 수준에서 적용되며, 파트(hasPart)를 사용한 섹션 수준 마크업은 지원되지 않는다
• 재학습 거부: 애플 기초 모델(foundation models) 학습에 콘텐츠가 사용되지 않도록 하려면 에이아이봇-확장(Applebot-Extended) 지시를 사용한다