DiffusionGemma 26B가 던진 질문: 텍스트 확산이 자기회귀를 밀어낼 수 있나

확산이 텍스트로 왔다 — 이번엔 진짜다

LLM 아키텍처에서 '혁신'이라는 단어는 남발됐다. 그러나 Google DeepMind가 6월 10일 공개한 DiffusionGemma 26B-A4B는 성능 숫자가 아니라 생성 메커니즘 자체를 바꾼다. GPT-4부터 Gemma까지 지난 4년간 모든 고성능 LLM이 고수해온 자기회귀(autoregressive) 방식 — 토큰을 왼쪽에서 오른쪽으로 하나씩 찍어내는 방식 — 에 첫 번째 균열이 실험실 밖으로 나왔다.

병렬 생성이 빠른 이유

자기회귀 모델의 병목은 구조적이다. 512토큰을 생성하려면 512번의 sequential forward pass가 필요하다. 하드웨어가 아무리 발전해도 이 순서를 건너뛸 수 없다.

DiffusionGemma는 이미지 생성의 Stable Diffusion이 노이즈로부터 픽셀을 복원하듯, 256토큰을 단일 forward pass에서 동시에 생성한다. MarkTechPost 분석에 따르면 단일 H100 기준 1,000+ tokens/sec를 기록하며 RTX 4090/5090에서 18GB VRAM으로 구동된다. 리서치 클러스터가 아닌 소비자 GPU에서 돌아간다.

파라미터 구조도 속도를 끌어올린다. 총 26B이지만 MoE(Mixture of Experts) 설계로 활성 파라미터는 3.8B에 불과하다. 추론 단계에서 실제 연산량은 소형 모델 수준인데 병렬 생성까지 더해지니 속도 이점이 두 겹으로 쌓인다.

품질 갭 — 결함인가, 아직 덜 최적화된 것인가

The New Stack이 짚은 핵심 딜레마: MMLU·코딩 벤치마크에서 Gemma 4 대비 낮다. Google 스스로 '프로덕션보다 실험용'이라고 못을 박았다.

이 갭에는 구조적 원인이 있다. 자기회귀는 앞 토큰이 뒤 토큰의 문맥이 되기 때문에 단계적 추론과 논리 연쇄에 자연스럽게 강하다. 수학 증명, 코드 디버깅처럼 "A이므로 B, B이므로 C"의 인과 연쇄가 중요한 태스크에서 순서를 전제하지 않는 확산 방식은 구조적으로 불리하다.

그러나 이것이 치명적 결함인지는 별개 문제다. 자기회귀 방식에는 지난 10년치 훈련 최적화와 RLHF 기법이 쌓여 있다. 확산 방식은 텍스트 영역에서 이제 막 실험 단계다. 현재의 갭이 '구조의 한계'인지 '최적화의 미성숙'인지를 지금 단정할 근거는 없다.

이미지의 역사가 보내는 신호

2018년, 이미지 생성의 패권은 GAN에 있었다. 확산 모델은 느리고 품질도 GAN보다 낮다는 평가를 받았다. 2022년, Stable Diffusion이 등장하면서 GAN은 연구 주류에서 밀려났다. 4년이 걸렸다.

텍스트 확산이 같은 경로를 밟을 것이라고 단언하긴 이르다. 텍스트는 이미지보다 순서 의존성이 훨씬 강하기 때문에 구조적 장벽이 더 높다. 하지만 '불가능하다'고 닫아버리는 것도 이미지 역사를 무시하는 일이다. DiffusionGemma는 그 가능성이 벤치마크 수치를 달고 실제로 등장했다는 점에서 의미가 다르다.

전망 — 두 가지 지표를 보라

Google이 Apache 2.0으로 오픈소스 공개하고 Hugging Face와 Vertex AI에 동시 배포한 건 커뮤니티에 디버깅을 위탁하는 고전적 방식이다. 수천 명의 연구자가 품질 갭의 원인을 파고들 것이고 Google은 그 결과를 흡수한다.

주목할 지표는 두 가지다. 첫째는 Chain-of-Thought와의 결합 가능성이다. CoT는 자기회귀의 순차성을 전제한다. 확산 방식에서 단계적 추론을 어떻게 구현하느냐가 품질 갭 해소의 열쇠다. 둘째는 Fine-tuning 후 벤치마크 변화다. 베이스 모델의 낮은 점수가 아키텍처의 한계인지, 사전훈련 데이터량의 차이인지를 구분해야 향후 스케일링 여부를 판단한다.

지금 당장 DiffusionGemma가 GPT-4o나 Gemma 4를 대체한다고 보기 어렵다. 그러나 실시간 음성 어시스턴트, 고빈도 API 파이프라인처럼 지연 시간이 곧 비용인 환경에서는 품질 임계치를 넘는 순간 즉각적 대체 압력이 생긴다. 그 임계치까지의 거리를 6개월 안에 커뮤니티가 측정해 줄 것이다.