Screaming Frog의 Gemini AI를 이용한 쿼리 팬아웃 분석 방법

핵심

Gemini AI를 활용한 커스텀 자바스크립트 스크립트로 Screaming Frog에서 직접 쿼리 팬아웃(query fan-out) 분석을 실행할 수 있다. 2000개 이상의 페이지 테스트 결과, 대부분의 페이지는 Google AI가 실제로 생성하는 쿼리의 약 30%만 답변하고 있어 70%의 최적화 공백이 존재한다.

쿼리 팬아웃의 현실

• Google AI Mode의 작동 방식: Google의 AI 검색이 콘텐츠를 처리할 때 선형적으로 읽지 않으며, 주요 주제를 관련된 세부 쿼리의 네트워크로 확장하여 Knowledge Graph와 웹 인덱스 전체에서 포괄적인 답변을 검색한다.
  • 예시: "전자상거래를 위한 지속 가능한 마케팅 전략"에 대한 검색 시 Google AI가 생성하는 쿼리들
    • 마케팅 전략을 지속 가능하게 만드는 것은 무엇인가?
    • 소규모 전자상거래 비즈니스에 필요한 예산은 얼마인가?
    • 온라인 매장에 어떤 채널이 가장 효과적인가?
    • 캠페인에서 지속 가능성을 측정하는 방법은?
    • 실제 성공 사례는 무엇인가?
• 콘텐츠의 문제점: 대부분의 콘텐츠는 이러한 세부 쿼리 중 2~3개만 답변하며, 경쟁사가 채울 수 있는 거대한 공백을 남긴다.

쿼리 팬아웃 탐지기

저자가 개발한 Screaming Frog 커스텀 추출 스크립트는 Gemini AI를 활용하여 Google AI Mode와 동일한 방식으로 페이지를 분석한다.

스크립트의 기능:

• 의미론적 청크 추출: 레이아웃 인식 청킹을 사용하여 콘텐츠를 분할(Google의 Document AI와 유사)
• 주요 엔티티 식별: 페이지의 주요 온톨로지(ontology) 주제 결정
• 팬아웃 쿼리 예측: Google이 생성할 가능성이 있는 8~10개의 세부 쿼리 생성
• 커버리지 점수화: 각 쿼리에 대해 콘텐츠 답변 여부 평가(예/부분/아니오)
• 후속 질문 제안: 사용자가 다음으로 물을 가능성 있는 질문 예측

스크립트 구현:

• Screaming Frog의 Custom > Custom JavaScript에 코드 붙여넣기
• Gemini API 키 설정 필요
• 페이지 제목, H1 태그, H2/H3 제목과 그 콘텐츠를 의미론적 청크로 추출

실제 사례 연구 결과

사례 1: Technical SEO 가이드

• 의미론적 청크 발견: 24개
• 쿼리 커버리지: 10개 중 7개
• 누락된 쿼리: 구현 비용, 도구 비교, API 대안
• 핵심 인사이트: 잘 구조화된 콘텐츠도 구매 의도 관련 쿼리를 놓침

사례 2: 전자상거래 상품 페이지

• 의미론적 청크 발견: 12개
• 쿼리 커버리지: 10개 중 3개
• 누락된 쿼리: 지속 가능성 정보, 대안 비교, 사용 사례, 유지보수 가이드
• 핵심 인사이트: 상품 페이지는 기능에 초점을 맞추지만 "왜"와 "어떻게"에 대한 쿼리를 놓침

사례 3: 지역 서비스 페이지

• 의미론적 청크 발견: 8개
• 쿼리 커버리지: 10개 중 4개
• 누락된 쿼리: 가격 구조, 서비스 지역 세부사항, 예약 프로세스, 자격 요건
• 핵심 인사이트: 지역 페이지는 기존 지식을 과도하게 가정

패턴 분석

2000개 이상의 페이지 분석 결과, 높은 커버리지를 가진 페이지들의 공통점이 확인되었다. 커버리지가 높을수록 AI Mode 가시성이 증가하는 경향이 나타난다.

분석 실행 방법

1단계: 스크립트 설정

• Screaming Frog에 커스텀 자바스크립트 추가
• 테스트 스크립트 실행

2단계: 핵심 페이지 분석

• 가장 중요한 페이지부터 크롤러 실행
• 다음 항목 확인:
  • 5/10 이하의 커버리지 점수
  • 누락된 쿼리의 패턴
  • 유사한 페이지 간 공통 공백

3단계: 전략적 공백 메우기 각 누락된 쿼리 유형에 대해:

• 관련 쿼리 → 컨텍스트 섹션 추가
• 암묵적 쿼리 → FAQ 형식으로 명시되지 않은 필요 대응
• 비교 쿼리 → 비교 테이블 추가
• 절차적 쿼리 → 단계별 가이드 추가
• 컨텍스트 정제 → 구체적인 시나리오 포함

분석 결과 예시

특정 AI Mode 관련 문서에 대한 스크립트 실행 결과:

• 주요 엔티티: Google Document AI 레이아웃 파서와 SEO에 미치는 영향
• 팬아웃 쿼리:
  • Google AI Mode가 웹페이지 구조 정보를 어떻게 사용하는가? → 부분 커버리지
  • Google AI Mode 최적화를 위한 HTML 구조의 모범 사례는? → 완전 커버리지
  • Google Document AI 레이아웃 파서와 Google Search의 실제 파서의 차이점은? → 부분 커버리지
  • 다른 웹사이트 분석 도구와의 비교 → 부분 커버리지
  • Google Document AI 레이아웃 파서로 웹사이트 SEO를 개선하는 방법은? → 완전 커버리지
  • 레이아웃 파서의 한계점은? → 완전 커버리지
  • 레이아웃이 순위에 영향을 미치는가? → 부분 커버리지
  • 레이아웃 파서를 무료로 사용할 수 있는가? → 미커버리지
  • 콘텐츠 유형은 무엇을 식별하는가? → 완전 커버리지
  • 레이아웃 파서 API에 접근하는 방법은? → 완전 커버리지
• 전체 커버리지 점수: 10개 중 7개 쿼리 커버
• 권고사항:
  • Google AI Mode가 웹페이지 구조 정보를 활용하는 방식 확장
  • 비용 및 접근성 정보 추가
  • 다른 도구와의 비교 테이블 포함
  • 순위 영향 사례 연구 제공

AI Mode를 위한 새로운 최적화 프레임워크

엔티티 우선 접근법: 주요 엔티티부터 시작하여 모든 가능한 쿼리 브랜치 매핑

키워드 대신 커버리지: 키워드 밀도가 아닌 쿼리 커버리지 비율로 성공 측정

의미론적 청킹: AI 파싱을 위한 콘텐츠 구조화

후속 질문 예상: 각 섹션은 현재 쿼리에 답변하고 다음 질문을 발생시켜야 함

전략에 미치는 의미

페이지의 평균 쿼리 커버리지가 30%라면, 잠재적인 AI 가시성의 70%를 테이블에 두고 있다. 경쟁사들이 AI 검색을 이해하기 위해 분투하는 동안, 데이터를 기반으로 커버리지를 체계적으로 개선할 수 있다. 중요 수익 페이지부터 시작하여 분석을 실행하고, 공백을 메우고, AI Overview 가시성의 증가를 관찰한다.

주의사항

• 모든 결과는 실험적이며, Gemini 1.5 Flash와 2.5 Pro(안정 버전) 사용
• Flash 모델은 빠른 속도로 작동하며, Pro 모델 엔드포인트는 사용자에 따라 작동하지 않을 수 있음
• Screaming Frog에서 자바스크립트 렌더링 활성화 필요
• 쿼리 팬아웃 최적화 계획만으로도 현재 순위에 영향을 줄 수 있음