구글, AI SEO를 위한 마크다운 버전 사용에 주의 당부

핵심

구글의 존 뮬러와 마틴 스플릿은 마크다운을 AI 검색용 솔루션으로 사용하는 것을 경계해야 한다고 제안했다. 본질적으로 단순한 것을 불필요하게 복잡하게 만든다는 입장이다.

마크다운은 열악한 사용자 경험

마틴 스플릿이 먼저 지적한 점은 마크다운 자체가 좋은 사용자 경험을 제공하지 못할 수 있다는 것이다. HTML은 시각적으로 즐거운 레이아웃과 색상으로 긍정적인 사용자 경험을 만들 수 있지만, 마크다운은 이를 지원하지 않는다.

• 마크다운 문서 집합만으로는 출판할 수 없다. 사용자는 색상과 이미지가 좋은 레이아웃으로 흐르는 콘텐츠를 원한다.
• 마크다운은 정의상 레이아웃을 직접 지원하지 않는다.
• 마크다운을 레이아웃으로 표현하려면 브라우저를 재창조하는 셈이 되며, 결국 HTML 파싱을 다시 만드는 것이다. 그렇다면 차라리 수십 년간 검증된 HTML 파싱을 쓰는 게 낫다.

마크다운은 작업량을 두 배로 늘린다

마틴이 제시한 다른 문제는 LLM(대규모 언어 모델)을 위해 마크다운을 만들면서 동시에 사용자용 별도의 HTML 버전을 만들어야 한다는 점이다. 이는 웹 퍼블리싱 작업량을 두 배로 늘리고 복잡하게 만든다. SEO 전문가와 출판사가 해야 할 일은 웹 퍼블리싱을 간단히 하는 것인데 정반대 방향이다.

• 사용자는 마크다운을 원하지 않고 완전한 웹사이트를 원한다.
• LLM을 위해 별도 버전을 만들면 결국 두 배의 작업이 필요해진다.

존 뮬러는 이에 동의하면서, 일부 HTML 페이지가 실제로 형편없이 표현되기도 한다는 점을 언급했다. 콘텐츠 퍼블리싱 과정을 간단히 하고 싶은 사람들의 입장도 이해한다고 밝혔다.

• 웹에서 "구조 측면에서 형편없고 사용하기 어려운 페이지"가 많다는 것을 인정한다.
• 사용자는 복잡하고 이상한 페이지를 볼 수 있지만, 자동화된 시스템은 쉽게 정보에 접근할 수 있어야 한다는 생각도 이해한다.

참고: 두 사람이 명시하지는 않았지만, 인간의 뇌는 주로 시각 정보를 우선시하도록 진화했다. 과학자들에 따르면 "인간의 뇌의 절반이 직접 또는 간접적으로 시각에 쓰인다." 따라서 이미지와 매력적인 레이아웃을 통한 소통이 메시지 전달에 효과적일 수 있다.

병렬로 운영되는 콘텐츠 버전의 문제

뮬러와 스플릿은 모두 콘텐츠의 병렬 버전을 갖는 것이 불필요한 복잡성을 초래한다고 경고했다. 또한 AI는 마크다운 버전이 깨졌을 때 이메일로 알려주지 않는다. 사용자가 HTML이 깨졌을 때 불평할 수 있는 것과 달리, 머신용 버전은 몇 주 이상 깨진 상태로 남아있을 수 있고 사이트 소유자가 이를 깨닫지 못할 수 있다.

병렬 버전의 유지보수 문제:

• 다중 버전을 유지하고 관리해야 한다.
• 사용자가 보지 않는 버전에 문제가 생기지 않도록 확인해야 한다.
• 사용자는 페이지가 제대로 로드되지 않으면 불평하지만, LLM 버전이 제대로 로드되지 않으면 누군가 알려주지 않는다.
• 많은 자동화된 시스템은 무언가가 깨졌다는 것을 인지하지 못할 수도 있다. "여기 텍스트가 있으니 이게 우리가 색인해야 할 것"이라고 판단할 수 있기 때문이다.

다이나믹 렌더링(dynamic rendering)과의 비교: 스플릿은 이러한 교훈을 과거 다이나믹 렌더링 경험에서 배웠다고 동의했다. 다이나믹 렌더링은 한때 괜찮은 임시방편 솔루션이었지만, 실제로는 두 버전의 이중성으로 인해 더 많은 문제를 야기했고 디버깅이 매우 어려웠다.

결론

• 구글의 뮬러와 스플릿은 웹사이트의 별도 AI 최적화 마크다운 버전을 사용하지 말 것을 권고했다. 출판사는 병렬 AI 버전을 만드는 대신 기존 HTML 페이지를 개선하는 것이 낫다.
• 마크다운은 병렬 콘텐츠 운영으로 인한 복잡성을 야기할 수 있으며, 추가 이점 없이 복잡성만 증가시킨다.
• 병렬 콘텐츠 개발은 디버깅이 어렵다. AI용 버전의 장애는 사용자용 페이지 장애와 달리 오랫동안 눈에 띄지 않을 수 있기 때문이다.
• 마크다운 콘텐츠는 사용자에게 최적의 경험을 제공하지 못할 수 있다. 사용자 경험은 직접·간접적으로 검색 순위와 관련된 요소다.
• HTML은 레이아웃, 네비게이션, 색상, 이미지를 통해 사용자가 정보를 더 효과적으로 이해할 수 있도록 지원한다.
• 구글은 병렬 콘텐츠 퍼블리싱을 다이나믹 렌더링과 비교했다. 과거 머신용 버전을 별도로 유지하려는 시도는 문제를 해결하기보다 더 많은 문제를 야기했다.