AI 에이전트 쇼핑을 위한 웹사이트 최적화 가이드

핵심

인터넷은 모바일 혁신 이후 또 다른 패러다임 전환을 맞이했다. 이제는 AI 에이전트가 주도하는 상거래(agentic commerce) 시대다. 웹사이트를 AI 에이전트의 쇼핑 활동에 최적화하려면, 이 시스템들이 어떻게 작동하는지 이해하고 데이터를 효율적으로 전달하는 것이 핵심이다.

핵심 개념 이해

AI 에이전트와 에이전트형 AI의 차이

• AI 에이전트: 자율적으로 배치되어 대규모 언어 모델(LLM) 데이터베이스를 사용해 단계별로 작업을 수행하는 '작업자'
  • 자주 문제에 직면하고 많은 인간의 개입을 필요로 함
• 에이전트형 AI: 인간의 개입을 덜 필요로 하는 자율적 에이전트
  • LLM 모델의 추론과 도구 연결(tool connectivity)을 활용해 목표를 달성
  • 목표를 주면 그것을 완성하기 위한 방법과 전략을 스스로 찾아냄

LLM의 데이터 처리와 환각(hallucination) 현상

언어 처리 메커니즘

• 이 모델들은 인간처럼 언어를 이해하지 않음
• 청킹(chunking) 프로세스: 대량의 데이터를 받으면 분해 → 토큰화 → 벡터화(숫자로 변환) → 다음 숫자에 대한 최선의 예측 수행
• 이 모든 작업이 제한된 컨텍스트 윈도우(context window) 내에서 빠르고, 효율적으로, 저비용으로 처리돼야 함

환각 발생 원인

• LLM은 예측 모델을 기반으로 언어를 이해하는 만큼, 정확한 데이터가 없을 때 예측을 만들어냄
• 특히 에이전트형 AI는 목표 달성에 집착하는 매니저 역할을 하기 때문에, 올바른 데이터 없이도 목표를 완성하기 위해 거짓 정보를 생성할 수 있음

데이터의 중요성

• 데이터는 이 모든 시스템의 핵심
• 웹사이트 최적화의 목표는 데이터를 효율적으로 전달하고, 모델이 데이터를 이해·검증하도록 돕는 것

웹사이트 최적화 전략

1. JavaScript 제거

• AI 시스템들은 JavaScript를 실행하지 않음
• 이는 이미 오랫동안 강조되어 온 원칙이지만 여전히 중요

2. 마크다운(Markdown) 활용

마크다운은 HTML보다 AI 에이전트에 훨씬 더 효율적인 형식이다. 비유로 설명하면:

• HTML (전통적 웹 브라우저용): "요리사야, 스파게티 좀 줄 수 있어?"라고 하면, 상대가 "주방에 가서 알아서 해"라고 말하는 것과 같음. 에이전트는 칼이 어디 있는지, 토마토가 어디 있는지, 무엇을 해야 하는지 혼란스러워함
• 마크다운: "여기 모든 게 있어. 이게 레시피고, 이렇게 하면 최고의 스파게티가 나와"라고 하는 것과 같음
  • 더 적은 토큰 사용
  • 필요한 데이터만 전송
  • 컨텍스트 윈도우 내에서 더 많은 작업 수행 가능

3. 제품 피드(Product Feeds) 재활용

• Google Merchant Center 같은 피드는 최근 다시 주목받고 있음
• 이미 보유한 도구이므로 정리하고 최적화해서 재사용하면 됨
• AI 에이전트에게 데이터를 효율적으로 전달하는 방식

4. 구조화된 데이터(Structured Data) 활용

• AI 모델들은 언어는 이해하지 못하지만 구조화된 데이터는 이해함
• 따라서 반드시 활용해야 함

에이전트가 데이터를 찾도록 돕기

새로운 구조와 언어의 등장

• 이 기술은 아직 새로운 기술이므로 여러 신규 구조와 언어들이 계속 생기고 있음
• 모바일 혁신 시대(모바일 우선, AMP 등)와 유사한 상황
  • 당시에는 검색 엔진용으로 웹사이트를 최적화해야 했음
  • 기술이 발전하면서 엔진이 콘텐츠에 더 잘 접근하게 되었고, 결국 하나의 통합된 웹이 됨
  • 지금도 같은 과정 중에 있음

신규 표준 및 도구

• agent-permissions.json, llms.txt: LLM과 에이전트에게 사이트의 위치, 데이터 파싱 방법, 효율적인 데이터 발견 방법을 알려주는 구조
• robots.txt 업데이트: 기존 파일도 최적화 필요
• 향후 더 많은 신기술이 등장할 예정

MCP (Model Context Protocol)

• 정의: 사이트와 각종 도구 간의 연결을 돕는 어댑터
• 핵심 기능: AI 에이전트가 목표를 달성하는 데 필요한 도구와의 상호연결을 관리
• 예시: 사이트가 독일어이고 여러 에이전트가 접근할 때, 각 에이전트마다 언어를 번역할 필요 없이 MCP가 하나의 통합 프로토콜 역할을 하며 데이터를 해석해줌
• 부가 이점: 로그 파일 분석처럼 AI 에이전트가 사이트에서 찾는 것, 요청하는 파라미터(parameters), 사이트 오류를 직접 확인 가능
  • SEO 팀이 아닌 엔지니어, 정보 아키텍처 담당자와 협업 필요

신뢰도(Trust) 구축

• 최종 단계: 모든 시스템은 대규모 언어 모델로 구동되며, 출력 데이터를 검증해야 함
• 검증 방법: AI 에이전트는 Knowledge Graph(지식 그래프)와 평판 좋은 사이트에서 데이터를 검증함
• 최적화 방법:
  • 사이트가 신뢰할 수 있는 사이트임을 확보
  • Knowledge Graph에 포함되도록 함
  • 다른 사이트에서 인용되고 참조되도록 하기
  • 신뢰할 수 있는 사이트임을 나타내는 신호를 강화해, AI의 데이터베이스에 포함되도록 함