구글 Discovery Engine으로 역공학한 AI 모드의 설계 원리

핵심

Discovery Engine은 Google AI Mode의 정확한 백엔드가 아니지만, 구글이 AI 검색 시스템을 설계하고 구축할 때 따르는 원칙을 투명하게 보여주는 드문 창구다. 구글 엔지니어들이 검색 순위 매기기, 의미론적 모델링, LLM 제공을 어떻게 생각하는지 엿볼 수 있다.

Discovery Engine의 네 단계 파이프라인

Discovery Engine은 현대적 AI 검색 시스템과 유사한 구조를 따른다:

• Prepare (준비)
• Retrieve (검색)
• Signal (신호)
• Serve (제공)

쿼리 이해와 정규화

시간 맥락을 반영한 동적 언어 처리

Discovery Engine은 특정 날짜 범위 내에서만 적용되는 동의어를 허용한다. 이는 구글이 언어를 동적이고 맥락 민감한 것으로 취급함을 시사한다. 용어의 의미는 시간에 따라 변하고, 동의어는 시간 로직이 필요할 수 있다.

노출되는 설정 요소

• 최대 제안 수(maximum suggestion count)
• 최소 트리거 길이(minimum trigger length)
• 접두사 매칭 또는 부분 문자열 매칭
• 제안 출처: 문서 콘텐츠, 검색 이력, 사용자 이벤트
• 명시적 거부 목록(explicit deny lists)

부분 문자열 매칭의 존재는 시스템이 짧은 부분 입력을 더 넓은 개념으로 연결할 수 있음을 나타낸다.

필드 속성의 분리

Discovery Engine은 세 가지 필드 속성을 구분한다:

• Searchable (검색 가능)
• Indexable (색인 가능)
• Retrievable (검색 결과에 표시 가능)

이는 구글이 구조화된 데이터 시스템에서 순위, 필터링, 가시성을 어떻게 분리하는지 보여준다. 각 필드 속성은 검색 파이프라인에서 서로 다른 역할을 수행한다.

문서 선택, 청킹, LLM 지원 이해

청킹 크기와 구조

Discovery Engine은 최대 청크(chunk) 크기를 500 토큰으로 제한한다. 더 작은 청크는 가능하지만 더 클 수는 없다. 선택적으로 각 청크 내에 상위 제목(ancestor headings)을 포함할 수 있다.

이는 구글의 선호 검색 단위 크기(retrieval unit size)가 무엇인지 시사한다.

문서 해석의 계층화

Discovery Engine이 지원하는 파서:

• 기본 파서(default parser)
• 표와 이미지 주석을 포함한 고급 레이아웃 파서
• 문서 이해 개선을 위해 Gemini를 사용하는 미리보기 기능

구글이 색인 단계에서 일부 LLM을 사용하고 있으며, 전통적 파싱과 LLM 지원 해석을 결합한 하이브리드 검색 파이프라인에 편안함을 느끼고 있음을 시사한다.

Discovery Engine이 노출하는 일곱 가지 순위 신호

Discovery Engine의 Signal Viewer는 각 검색 결과에 대해 일곱 가지 뚜렷한 채점 구성 요소를 표시한다:

• Base ranking (기본 순위): 핵심 순위 신호
• Embedding similarity (Gecko) (임베딩 유사도): Gecko라는 구글 모델을 사용하여 벡터 유사도 계산
• Cross-attention semantic relevance (Jetstream) (교차-어텐션 의미론적 관련성): 문맥과 부정을 처리하는 Jetstream 모델 사용
• Keyword matching (BM25-like) (키워드 매칭): 고전 정보 검색 신호
• Engagement predictions (참여도 예측): 인기도 → 예상 클릭율(PCTR) → 개인화된 PCTR 등급
• Freshness (신선도): 콘텐츠의 최신성
• Manual boost or bury rules (수동 부스트 또는 강등 규칙): 편집자 개입

Gecko와 Jetstream의 의미

Gecko는 구글이 외부 임베딩 사용에 대해 공식 중단(deprecated)했으나, 엔터프라이즈 순위 시스템은 여전히 "Gecko 점수"를 참조한다. Jetstream은 오픈소스이며 주로 TPU(텐서 처리 유닛)에 최적화되어 있다.

이는 구글이 임베딩보다 미묘한 구분을 더 잘 이해할 수 있는 교차-어텐션 의미론적 모델(cross-attention relevance models)을 중시함을 시사한다.

참여도 모델링의 계층화

Discovery Engine의 참여도 계층은 최소 임계값, 최적 범위, 개인화된 예측이 활성화될 수 있는 조건을 지닌다. 구글이 참여도 모델링을 계층적이고 점증적인 방식으로 취급함을 보여준다.

LLM 생성, 명령어, 안전 필터링

세 가지 제공(Serving) 모드

Discovery Engine은 세 가지 제공 모드를 노출한다:

• Search with a list (목록이 포함된 검색): 고전 구글 검색과 유사
• Search with an answer (답변이 포함된 검색): AI Overviews와 유사
• Search with follow-ups (후속 질문이 포함된 검색): AI Mode와 유사

개념적 유사성이 공유 백엔드 코드를 의미하지는 않으나, 구글의 통일된 설계 언어를 반영한다.

구성 가능한 LLM 제어

Discovery Engine은 LLM 전환, 톤(tone) 조절, 관련 질문 활성화, 언어 처리 전환, 이미지 소스 필터링을 허용한다. 이는 구글의 AI 답변 동작 중 일부가 모델 아키텍처만이 아니라 구성 가능한 명령어 계층에서 비롯됨을 시사한다.

안전 필터와 근거 확보

Discovery Engine은 다음을 차단하는 필터를 사용한다:

• 악의적 쿼리(adversarial queries)
• 낮은 관련성 답변
• 근거 없는 요약(non-grounded summaries)

이러한 게이트는 구글이 LLM 안전성과 근거 확보(grounding) 제약을 어떻게 적용하는지 엿볼 수 있는 창을 제공한다.

올바른 해석 방법

Discovery Engine은 무엇이 아닌가

Discovery Engine은 AI Mode의 1:1 청사진이 아니다. 하지만 구글의 사고방식을 보여주는 드문 창구다:

• 검색 파이프라인을 어떻게 구조화하는지
• 전통적 신호와 신경망 신호를 어떻게 혼합하는지
• 순위 해석성을 어떻게 처리하는지
• 콘텐츠를 어떻게 청킹하는지
• 참여도 모델링을 어떻게 적용하는지
• LLM 계층에서 어떻게 필터링하는지
• 다단계 검색 흐름을 어떻게 설계하는지

이러한 원칙들은 정확한 구현이 다르더라도 구글 검색 기술의 더 넓은 생태계에 거의 확실히 영향을 미친다.

주요 해석

다중 신호 아키텍처: Discovery Engine이 단일 모델 채점자보다 융합 시스템을 선호함을 보여준다. 이는 AI Mode가 동일하게 작동한다고 증명하지는 않지만, 구글의 선호도를 나타낸다.

의미론적 및 교차-어텐션 계층: Gecko와 Jetstream을 노출함으로써 구글이 하이브리드 의미론적 모델(hybrid semantic models)을 강조함을 입증한다.

계층화된 참여도 예측: 소비자 검색에 필수는 아니지만 구글의 모델링 철학을 의미 있게 보여준다.

500 토큰 청킹: 선택적 제목 상속을 포함한 구글의 선호 검색 단위 크기를 시사한다.

개념적 정렬: 제품 아키텍처는 전통 검색, AI Overviews, 대화형 AI 검색과 개념적으로 일치하나, 개념적 정렬이 아키텍처 동등성을 의미하지는 않는다.

강력한 안전 게이트: Discovery Engine은 Serve 단계에서 강한 안전 게이트를 적용한다. AI Mode도 비록 동일하지는 않을 수 있으나 유사한 제약을 가질 가능성이 높다.

Discovery Engine 연구의 가치

Discovery Engine의 가치는 소비자 검색을 드러내는 데 있지 않다. 그것은 구글의 검색 기술을 구축하는 엔지니어들의 사고방식을 드러낸다.

• 신호들이 명명되어 있다.
• 단계들이 문서화되어 있다.
• 아키텍처가 가시화되어 있다.
• 제어들이 노출되어 있다.

대부분의 AI 검색 시스템이 불투명한 세상에서 Discovery Engine은 실제 순위 시스템 뒤의 설계 원칙을 엿볼 수 있는 드문 창을 제공한다. 정확한 코드는 아니고, 1:1 복제도 아니지만, 의미 있는 방향 지표(directional indicator)다.