GPT-OSS-20B의 주의 메커니즘 역엔지니어링: AI 콘텐츠 최적화를 위한 가중치 분석
핵심
ChatGPT의 오픈소스 모델인 GPT-OSS-20B의 내부 메커니즘을 분석한 결과, 콘텐츠 최적화를 위해 고려해야 할 구체적인 가중치 수준의 편향들을 발견했다. 이 모델은 콘텐츠를 평면 문서로 취급하지 않으며, 서로 다른 처리 단계를 거친다.
모델 아키텍처
GPT-OSS-20B는 혼합 전문가(Mixture-of-Experts) 트랜스포머 구조를 사용한다.
- 32개의 전문화된 하위 네트워크(전문가)를 보유하되, 각 토큰 처리 시 4개만 활성화
- 24개 레이어와 64개 주의 헤드(attention heads)
- 주의 메커니즘을 위해 128토큰 슬라이딩 윈도우 사용
라우팅 메커니즘과 초반 신호의 중요성
어떤 4개의 전문가가 콘텐츠를 처리할지 결정하는 라우팅 메커니즘은 매우 초기 단계에서 결정된다.
- 레이어별 전문화 점수: 레이어 0에서 최고점(1.0278)을 기록하고, 레이어 5 이상에서는 라우팅 결정이 본질적으로 고정됨
- 게이트 바이어스 표준편차: 레이어 2에서 최고값(0.1804)을 보이며, 이는 모델이 콘텐츠 유형을 가장 공격적으로 구분하는 지점
- 실무적 의미: 페이지의 처음 약 50개 토큰이 콘텐츠 처리 경로를 결정한다.
콘텐츠가 제품 페이지인데 블로그 스타일의 서술로 시작하다가 실제 제품을 소개하거나, 기술 가이드가 판촉 언어로 열린다면 모델이 콘텐츠를 잘못된 전문가 경로로 라우팅할 수 있다. 초반 신호가 기계적 수준에서 처리 방식에 영향을 미친다는 점이 중요하다.
주의 메커니즘과 토큰 위치 편향
- 처리 단위: 모델은 텍스트를 대략 500자씩인 128토큰 슬라이딩 윈도우로 처리
- 주의 불균형: 각 윈도우 내에서 초반 토큰(위치 0~10)이 과도한 주의를 받음
- 주의 싱크(attention sinks): 이는 트랜스포머 연구에서 알려진 현상이지만, 콘텐츠 구조와 연결한 측정은 드물었음