에이전트 웹 시대의 기술 SEO: AI 검색과 상거래 변화

핵심

AI 기반 검색 시대에서 기술 SEO의 역할이 근본적으로 변화하고 있다. JavaScript 의존 웹사이트의 한계, 서버 응답 속도의 중요성, 그리고 인간이 아닌 에이전트를 위한 웹 설계의 필요성이 새로운 과제로 떠올랐다.

AI가 SEO를 예상보다 빠르게 변화시킨 이유

• ChatGPT의 충격: ChatGPT가 2023년 주목받으면서 누구도 예상하지 못한 속도로 AI 혁신이 진행됐다
• 구글의 전략적 중심 이동: 구글이 이미 뛰어난 AI 기술을 보유했지만, ChatGPT의 인기에 대응하기 위해 AI를 검색의 중심에 놓기 시작했다
• 기술인들의 선택지 부족: 경험 많은 SEO 전문가들도 구글이 음성 검색 대신 챗 인터페이스를 택할 줄 예상하지 못했다
• AI Overviews 도입: 전통적인 블루 링크 검색이 아닌 AI 생성 답변이 검색 결과의 중심이 되기 시작

맞춤형 SEO 도구가 중요한 이유

• 표준 도구의 한계: SaaS 플랫폼은 설계상 일반화된 기능만 제공하며, 특정 질문에 대한 답변에는 부족하다
• AI 기반 빠른 개발: Cursor, Claude, Codex 같은 AI 개발 도구 덕분에 과거 수개월이 걸리던 작업을 몇 시간 안에 완성할 수 있다
• 경쟁 우위 확보: 맞춤형 도구를 만들 수 있는 SEO 전문가가 표준 도구에만 의존하는 경쟁자보다 우위를 점한다
• 데이터 일관성 문제: 여러 도구에서 SERP 기능을 다르게 정의해 데이터를 통합하기 어렵다는 문제도 AI 도구로 해결 가능
• 기술 배경 없어도 가능: 개발 경험이 없는 SEO 전문가도 명확한 목표와 AI의 도움으로 복잡한 분석 도구를 만들 수 있다

서버 로그가 보여주는 웹의 변화: AI 봇 생태계의 다양화

• 과거 1년간 급격한 변화: 서버 로그와 CDN(Cloudflare) 기록에서 접속하는 에이전트의 종류와 수가 크게 증가했다
• 콘텐츠 유형별 다른 봇 생태: 거래 관련 콘텐츠에서는 Google, Microsoft, OpenAI, Anthropic의 Claude 봇이 자주 보이는 반면, 작은 규모의 개인 프로젝트 봇들도 함께 활동한다
• "인터넷의 동물원": 이상한 이름을 가진 수많은 봇과 에이전트가 웹을 돌아다니며, 이들은 개인이 만든 도구나 소규모 SaaS 서비스인 경우가 많다
• 구글의 크롤링 최적화: 구글은 필요한 요청 수를 줄이기 위해 크롤링 방식을 최적화하는 중이다
• 인덱싱 지연 현상의 배경: AI와 쿼리 팬아웃(query fan-out) 때문에 웹 크롤링과 인덱싱 비용이 크게 증가해, 구글이 새로운 콘텐츠를 색인하는 속도가 느려지고 있다

SEO와 개발팀이 일하는 방식의 변화

• 기술팀의 새로운 생산성: AI 도구 덕분에 개발자들이 이전보다 빠르게 작업을 완료하므로, 시간당 비용이 내려간다
• SEO와 개발의 역사적 긴장: SEO와 개발팀은 전통적으로 협업이 어려웠던 이유는 각자 다른 성능(시스템 성능 vs. 비즈니스 성능)을 최적화하기 때문이다
• 더 전략적인 소통 필요: SEO는 단순히 요청사항을 나열하지 말고, 왜(why) 그 작업이 필요한지 비즈니스 가치와 함께 설명해야 한다
• 더 정확한 기술 요청: 개발팀에 요청할 때 명확하고 구체적인 요구사항을 제시하되, 비즈니스 결과와의 연결고리를 명시해야 한다
• 소통 품질 재정의: Andrew Grove(인텔 CEO)의 말처럼, "소통의 질은 우리가 얼마나 잘 말하는지가 아니라 상대방이 얼마나 잘 이해하는지로 결정된다"
• 우선순위 명확화: 모든 것을 높은 우선순위로 표시하면 아무것도 우선순위가 아닌 것과 같으므로, 진정한 비즈니스 임팩트가 있는 과제를 선별해야 한다

구글의 에이전트 웹 전략 가속화

• 최근 집중적인 추진: 지난 4~5주 동안 구글이 에이전트 관련 기술과 표준을 집중적으로 발표했다
• 주요 발표: ChatGPT의 ACP(Agent Communication Protocol)에 대응해 구글은 UCP(Universal Commerce Protocol)를 출시했다
• 표준의 보편화: UCP는 ChatGPT에만 작동하는 ACP와 달리 모든 플랫폼에서 사용 가능하도록 설계됐다
• 추가 표준: MCP(Model Context Protocol), ODK(Open Data Kit) 등이 발표되면서 에이전트가 웹사이트 정보에 접근하기 위한 인프라가 구축되고 있다
• LLMs.txt의 역할: 구글은 검색 팀이 "검색에 LLMs.txt를 사용하지 않는다"고 했지만, 개발 팀은 "에이전트 검색을 위해 LLMs.txt가 유용할 수 있다"고 지적했다
• 기술적 부채 문제: 전 인터넷에 쌓인 기술적 부채와 사용자 신뢰 문제가 해결되지 않으면 에이전트 웹으로의 완전한 전환이 어렵다

에이전트가 온라인 구매를 어떻게 바꿀까

인간 심리의 한계

• 심리 조작 기법의 무효화: 현재 전자상거래가 활용하는 희소성("단 5분 남음"), FOMO(공포 마케팅) 같은 심리 조작 기법은 에이전트에게 작동하지 않는다
• Booking.com 같은 패턴의 실패: "방 1개만 남았습니다", "지금 봄 중인 사람이 있습니다" 같은 긴박감 조성 전술이 AI 에이전트를 설득하지 못한다

에이전트의 의사결정 요소

에이전트가 제품을 선택할 때 고려하는 요소는 가격만이 아니다:

• 제품 사양(product specifications): 상세하고 정확한 기술 정보
• 반품 정책(return policies): 에이전트는 구매 후 환불 가능성을 비용-편익 분석에 포함시킨다
• 재고 가용성(availability): 상품이 실제로 주문 가능한지 확인한다
• 브랜드 가치(brand value): 에이전트가 브랜드 명성과 신뢰성을 평가 기준에 포함시킬 수 있다
• 제품 정보의 질: 명확하고 구조화된 정보가 에이전트의 신뢰도를 높인다

전자상거래의 새로운 과제

• 상향판매의 소멸: 에이전트는 단일 제품만 구매하므로, 항공사나 호텔이 활용하는 상향판매(upselling) 전략이 작동하지 않는다
• 관련 상품 제안의 부재: 사람이 "티셔츠를 찾다가 5개를 사가는" 경험이 불가능해진다
• 마켓플레이스의 어려움: Amazon 같은 플랫폼은 여러 브랜드를 한 곳에서 판매하므로, 브랜드 가치로 경쟁하기 어렵다
• 판매 언어의 재구성: 설득과 감정에 의존하던 기존 마케팅 복사문이 에이전트 환경에서는 무의미해진다
• 구글의 시험 단계: UCP와 AI Mode의 통합은 아직 테스트 단계이며, 구글이 사용자 반응을 관찰하고 있다

에이전트 시대 기술 SEO의 중요성

JavaScript의 한계

• 에이전트의 JavaScript 실행 불가: Google의 Googlebot은 JavaScript를 실행할 수 있지만, OpenAI, Anthropic, 그 외 대부분의 에이전트 봇은 JavaScript를 처리하지 못한다
• 실행 비용: JavaScript 렌더링은 계산 비용이 크므로, 에이전트들이 널리 사용하기 어렵다
• 서버 응답이 핵심: 제품 정보, 가격, 재고 같은 중요 데이터는 서버의 초기 응답(첫 바이트)에 직접 포함되어야 한다
• 현재의 기술적 제약: 많은 웹사이트가 실시간 재고 업데이트나 희소성 표시를 위해 JavaScript에 의존하고 있으나, 이는 에이전트와의 상호작용을 불가능하게 한다

핵심 성능 지표의 변화

• TTFB(Time To First Byte) 강화: 서버가 요청을 받은 후 첫 정보를 전달하는 시간이 극도로 중요해진다
• 웹 성능 최적화 필수: 에이전트는 페이지 로딩 완료를 기다릴 여유가 없으므로, 초기 응답이 완전해야 한다
• 서버 측 렌더링 복귀: JavaScript 클라이언트 렌더링 대신 서버에서 완성된 HTML을 제공하는 방식으로 돌아가야 한다

실제 사례: 여행 및 숙박 산업

• 동적 가격 데이터의 문제: 일부 여행사들이 제공하는 매력적인 동적 기능(리조트 목록, 시작 가격 등)은 모두 JavaScript 기반인데, 매일 변하는 가격 때문에 서버 측에서 즉시 제공하기 어렵다
• 곧 다가올 UCP 확대: 전자상거래 외에도 여행, 숙박 같은 거대 시장으로 UCP가 확대될 것이다
• 브랜드의 경쟁력 차이: 기술 부채를 극복한 선진적인 브랜드는 에이전트 검색에서 유리하지만, 여전히 Web 1.0 방식을 고수하는 유명 브랜드들은 뒤처질 수 있다
• 일부 지역의 저항: 일부 지역(예: 이탈리아)에서는 여전히 가격을 숨기려는 보수적 관행이 남아 있다

에이전트 미래에서 웹사이트가 필요할까

프론트엔드의 미래에 대한 우려

• 인터페이스의 필요성 감소: 에이전트가 다른 에이전트 및 머신과 직접 상호작용한다면, 인간이 사용하는 프론트엔드의 가치가 급격히 떨어질 수 있다
• 모호성 제거: 기계 간 통신에서는 인간 언어의 모호함이 방해 요소가 될 수 있다
• 웹사이트 존재의 의문: 구글이 사용자를 검색 결과나 AI Mode 내에 유지하고, 웹사이트와는 피드나 에이전트를 통해서만 상호작용한다면 웹사이트는 왜 필요한가?

"Zero-Click"에서 "Null-Click"으로의 전환

• 클릭 없는 검색: Zero-click (검색 결과에서 바로 답을 얻는 것)를 넘어 null-click (사람이 검색 결과를 클릭하지 않고 에이전트가 완전히 처리하는 것)이 현실화될 수 있다

중간 지점의 가능성

• 올리고폴리(oligopoly) 우려: 모든 트래픽이 몇몇 거대 플랫폼의 에이전트 네트워크로 집중될 가능성
• 엣지 기반 대안: 콘텐츠가 엣지에 분산되어 동적으로 스냅샷을 생성하고, 개인 방문자가 접근할 수 있는 중간 형태의 웹 구조
• 소유 트래픽의 가치: 뉴스레터 마케팅처럼 플랫폼에 의존하지 않는 직접 채널의 중요성이 더욱 커진다
• 다양한 인터페이스의 출현: 음성 명령, 모바일 앱 기반 에이전트 관리 등 다양한 상호작용 방식이 빠르게 진화할 것

개발자의 새로운 워크플로우

• 원격 에이전트 명령: 일부 개발자들이 이미 스마트폰의 음성 명령으로 자신의 집에 있는 개발 에이전트에 지시를 내리는 등, 컴퓨터 없이 작업하는 시대가 도래하고 있다
• 인터페이스의 급속한 진화: 앞으로 수개월 안에 웹 상호작용 방식이 급격하게 변할 것으로 예상된다
• 사이버펑크 시대의 도래: 기술의 발전이 SF적 미래(예: Ready Player One)로 향하고 있다는 전망

게스트 소개: 알폰소 무레

• 경력: 20년 이상의 기술 SEO 컨설팅 경험
• 전문 분야: 웹 성능, Core Web Vitals, 로그 분석, 인덱싱 전략, 1자 데이터 추적, 개발팀과의 협업
• 사업: 2014년 Big Momo 디지털 마케팅 에이전시 공동 설립 (스페인, 프랑스, 벨기에 클라이언트 보유)
• 저술 활동: 개인 웹사이트와 이중언어 뉴스레터(Substack)를 통해 기술 SEO, 마케팅 데이터, 웹 성능, AI, 자동화에 관한 실용적 통찰 공유