SEO 규모 확대: 크롤링 전략, 이미지 최적화, 내부 검색

핵심

AI 검색이 새로워 보이지만 구글은 이미 수년간 머신러닝과 임베딩을 사용해왔다. 접근성 있는 정보와 개발자 도구의 대중화로 인해 기술이 새롭게 느껴질 뿐이다. 엔터프라이즈 규모의 웹사이트에서 SEO는 엔지니어링 및 비즈니스 이해와 함께 제품 중심 사고로 접근해야 한다.

AI 검색의 실제 상황

새로움은 접근성에서 비롯됨

• 구글은 Word2vec 개발사로, **임베딩(embeddings)**과 **다중모달 검색(multimodal search)**을 수년 전부터 사용했다
• 과거에는 이 정보가 제한적이었으나, 최근 2년간 접근 가능한 정보가 급증했다
• ChatGPT 같은 도구로 누구나 이런 개념을 학습할 수 있게 되었다
• 기술 자체의 변화보다는 누구나 이해할 수 있게 된 점이 "새로움"을 만든다

사용자 검색 행동의 변화가 핵심

• 기술적 기반은 크게 바뀌지 않았지만, 사람들이 검색하는 방식이 변했다
• 더 길고 구체적인 쿼리, 시각 검색의 증가, AI 기반 도구 활용이 주요 변화다

내부 사이트 검색을 SEO 인텔리전스 계층으로 활용

내부 검색이 제공하는 신호

• 사용자 어휘 파악: 콘텐츠에서 사용한 용어 vs. 실제 사용자가 입력하는 용어 간 차이 발견
• 충족되지 않은 수요 감지: 반환 정보, 배송 시간, 지원 등 사용자가 찾지만 발견하지 못하는 콘텐츠
• 끊어진 사용자 여정 파악: 예컨대 상품 검색창에서 반품 정보를 검색하는 행동은 그 지점 이후 여정이 끊겼음을 의미한다
• 웹사이트 아키텍처 개선 근거 제공

내부 검색의 한계와 전략

• 매우 큰 웹사이트에서는 모든 페이지에 모든 정보를 포함시킬 수 없다 (메뉴/푸터가 너무 무거워짐)
• 내부 검색은 자동 완성(자동제안)과 완전 자유도(사용자 주도) 사이의 철학적 선택이 필요하다
• Search Console에서는 제한된 정보만 제공하므로, 사이트 내부 검색 데이터 분석이 더 깊은 사용자 이해를 가능하게 한다

엔터프라이즈 규모 크롤링의 엔지니어링 및 비즈니스 현실

크롤링이 SEO 문제만이 아닌 이유

• 대규모 웹사이트 크롤링은 방대한 컴퓨팅 리소스를 소비한다 (비용 발생)
• 구글뿐 아니라 AI 검색 엔진, Apple, 무가치한 봇 트래픽 등이 모두 크롤한다
• 일부 봇은 기술적 차단을 우회하고 애널리틱스에도 사람 트래픽으로 표시된다
• SEO 팀이 로그 파일, 애널리틱스에서 이를 감지하고 대응하는 역할을 담당한다

크롤링 차단 전략의 세분화

• 모든 봇을 같은 방식으로 취급할 수 없다
  • 구글: 모든 페이지 크롤링 허용 가치 있음
  • ChatGPT/Gemini: 사용자 기반이 크고 상업적 가치 있음 → 깊은 크롤링 허용
  • Claude, Perplexity: 사용자 기반 작음 → 보다 제한적 크롤링
  • 필터 및 파라미터 조합 페이지: AI 검색에서는 가치 있을 수 있음 (사용자가 매우 구체적으로 검색) vs. 구글에서는 중복으로 인한 가치 저함
• robots.txt로 단순히 모든 것을 차단하기보다, 페이지 및 봇 유형별로 차별화된 접근 필요

사이트맵과 고아 페이지

• 초대형 웹사이트에서는 모든 페이지를 내부 링크로 연결하기 불가능하다
• 구글은 이를 이해하며, 사이트맵 제출로 모든 페이지가 발견 가능하다면, 고아 페이지(orphan pages)도 인덱싱할 수 있다
• 페이지 유용성 여부가 링크 유무보다 중요하다

엔터프라이즈 SEO에서 제품 중심 사고방식

개념의 전환

• 기존: "구글을 위해 최적화한다"
• 전환: "웹사이트가 나의 제품이고, 이를 검색 엔진이라는 소비자를 위해 최적화한다"
• 새로운 팀: 엔지니어링, 제품 관리자, QA, UX 등 웹사이트에 영향을 미치는 모든 구성원이 SEO 팀의 동료가 된다

실행 구조

• SEO 팀이 독립적이지 않고, 모든 웹사이트 변경 사항에 SEO 팀원이 참여한다
• 제품, 엔지니어링, UX, SEO 팀원이 함께 모든 결정 논의에 포함된다

비즈니스 모델에 따른 전략 수립

• Alamy의 예: e-commerce + marketplace + SaaS의 혼합
  • 웹사이트 구조: e-commerce처럼 상품 상세 페이지(PDP), 카테고리 페이지 존재
  • 판매 모델: SaaS처럼 라이선스 서비스 판매 (상품 소유권 이전 아님)
  • 마켓플레이스: 사진작가와 에이전시의 콘텐츠 공급자 구조
• Google Merchant Center는 이 경우 작동하지 않음 (Google Shopping과 달리 organic features에서 stock photography를 기대하지 않음)

이미지 검색을 전환 채널로 활용

이미지 검색의 우월한 전환율

• 웹 검색보다 이미지 검색에서의 전환율이 더 높다
• 사용자가 클릭 전에 실제 상품을 본다 (이미지 검색이 상품 발견의 최종 단계)
• 시각적으로 검색하는 사용자가 증가 중 (Google Lens, Circle to Search)

이미지 최적화의 기초

• 페이지 속도, 콘텐츠 품질 등 일반적 웹사이트 최적화가 이미지 검색에도 필수다
• 이미지 크기 최적화, 관련성 높은 주변 텍스트, alt 텍스트가 중요하다
• Temu, Shein 등이 이미지 검색에 강한 이유: 이미지 최적화에 적극적이고 사용자가 웹 검색보다 이미지 검색을 선호함을 이해한다

이미지 관련성의 새로운 기준: 벡터 유사성

• 다중모달 임베딩(multimodal embeddings): 이미지와 텍스트가 같은 벡터 공간에 배치된다
• 이미지와 페이지 콘텐츠의 코사인 유사성(cosine similarity)이 높아야 한다
  • 즉, 이미지와 텍스트가 의미적으로 가까워야 한다
• 이미지의 출처 (stock photography vs. 자체 촬영) 보다 이미지의 주제적 관련성이 중요하다
• Stock photography 사용 가능: 이미지가 콘텐츠와 의미적으로 관련 있다면 Google은 출처를 구별하지 않는다

사례: 관련성 있는 Stock 이미지

• 여행 블로거가 리스본의 독특한 도시 레이아웃을 설명하면서 헬기로 촬영한 항공 사진(stock)을 사용
• 아무 관련 없는 이미지 (마케팅 게시물에 사무실 사람 사진) 는 가치를 더하지 않는다
• 개념을 시각화하는 이미지 (예: 디자인 원칙을 표현하는 도표) 가 generic photo보다 낫다

이미지 검색과 다양한 이미지 유형

• Product images: Google Merchant 표준 (명확한 배경, 정면, 측면)
• Lifestyle/Real-world images: 사용자가 검색할 때 보는 영감 이미지
  • 사용자가 이미지 속 특정 객체를 보고 그것을 찾으려는 행동 (Google Lens, Circle to Search)
  • 가구, 패션, 부동산 등에서 특히 중요

LLM과 AI 검색에서의 이미지 처리

이미지가 보조적 역할을 함

• 현재 LLM들은 이미지를 주요 검색 신호로 사용하지 않는 것으로 보인다
• 텍스트 기반 검색이 먼저 이루어지고, 관련 웹사이트 식별 후 이미지가 따라온다
• AI Overviews에서 이미지는 거의 나타나지 않으며, AI Mode(예: ChatGPT 이미지 검색)에서만 두드러진다

AI Mode에서의 이미지 활용

• 여행, 패션 등 시각적 콘텐츠가 중요한 도메인에서 이미지가 답변 중 나타난다
• 이미지는 클릭 유도 자산으로 기능하며, 텍스트 링크보다 클릭율이 높을 수 있다

비디오가 더 강력한 신호인 이유

• 비디오는 **이미지 + 오디오 + 자막(텍스트)**의 세 계층을 제공한다
• LLM이 시간 정보, 흐름, 다양한 형식의 신호를 활용할 수 있어 더 풍부한 context를 전달한다

검색 엔진이 이미지를 처리하는 비용과 현실

전체 이미지 읽기는 불가능

• Alamy (4억 개 이미지)를 위해 벡터 임베딩 구축의 비용이 매우 크다
• Google이나 LLM이 웹의 모든 이미지를 임베딩으로 변환하고 이해하기는 비용 대비 ROI 측면에서 불가능하다
• LLM은 대부분 JavaScript를 렌더링하지 않으며 (비용), 이미지 내용을 읽을 가능성은 낮다

Google의 선택적 이미지 분석

• Google은 이미지 이해를 선택적으로만 한다 (모든 이미지에 대해 하지 않음)
• 도메인 권위도와의 관계: 높은 권위를 지닌 도메인의 이미지는 신뢰도가 높아 깊은 분석을 하지 않는다
  • 반대로, 신규 저권위 도메인의 이미지는 페이지 내용과 일치하는지 검증하려고 할 수 있다
• 사례: "anchovy pizza in French" 검색 결과에 여성 사진이 나타나는 오류
  • 실험적 오류이지만, 오래 지속되는 이유는 그 도메인의 높은 신뢰도 때문일 수 있다

"건설적 게으름"과 현명한 자동화

개념 정의

• 건설적 게으름: 반복적이고 저부가가치 작업을 자동화하여 더 이상 하지 않지만, 여전히 결과물은 고품질로 유지하는 방식
• 자동화 자체를 학습 기회로 삼는 접근

자동화가 너무 많을 때의 위험

• 문서화 없음, 모니터링 부재, 실패 안전장치(fail-safe) 미설정
• 자동화가 침묵 속에서 작동하면, 무엇이 일어나고 있는지 알 수 없다
• 새 자동화를 계속 추가하기보다 기존 자동화의 개선과 모니터링이 먼저다

자동화 대상 선정 기준

• 자동화해야 할 것: 무의미하고 반복적이며 가치를 주지 않는 업무 → 즉시 자동화
• 자동화하지 말아야 할 것: 창의성과 전략이 필요한 업무
  • 콘텐츠 생성 완전 자동화 (LLM만 사용) ❌ → AI 슬러프(AI slop) 증가
  • 인간의 아이디어를 LLM이 정제하는 형태는 가능 ✓
• 비용-편익 분석: 2일 투자해서 월 5분 절약하는 자동화는 가치 없음

자동화와 인간 판단의 균형

• 자동화에 강한 **가드레일(guardrails)**과 **검토 지점(stop points)**을 설정하라
• 창의적 작업흐름에서 각 태스크별로 사람의 검토 필수

SEO 커뮤니티와 업계 상 (Award)의 경력 가치

커뮤니티의 구체적 이점

• 안전한 학습 공간: 어떤 수준의 질문도 판단 없이 할 수 있다
  • "이렇게 경험 많은데 왜 이런 질문을?"이라는 비난이 없는 환경
• 기회 발굴: 팟캐스트, 연사, 직무 기회 등이 커뮤니티 내에서 공유되고 연결된다
• 신뢰감 구축: "누군가 자신 있게 특정 인물에게 물어볼 수 있는 자신감"도 커뮤니티에서 비롯된다
• 경력과 온라인 입지 발전: 배우기, 성장하기, 자신을 표현하기의 기회
• 지식과 전문성 공유: 다른 사람의 작업과 전문성에서 배우며 피드백을 제공한다

업계 상 (Search Awards, European Search Award 등)의 역할

• 상 심사 과정 자체가 judge 커뮤니티를 형성한다
• 평가는 힘든 작업이다 (책임감, 솔직한 피드백, 부정적 의견을 존중적으로 표현)
• 상 시상식은 SEO/검색에 대해 유사한 가치관을 공유하는 전문가들의 네트워킹 행사다
• 우수성과 혁신 사례를 공유받고 학습하는 기회

Women in Tech SEO의 예시

• 경력 구축을 돕는 실질적 기회를 제공한다
• 원래 여성 중심이었으나, 현재는 모든 사람에게 개방 (존중 규칙 준수 조건)
• "안전한 질문 공간"이라는 핵심 가치를 유지한다