#DiffusionGemma

DiffusionGemma 26B가 던진 질문: 텍스트 확산이 자기회귀를 밀어낼 수 있나

Google DeepMind가 확산(diffusion) 방식으로 텍스트를 생성하는 26B MoE 모델을 공개했다. 1,000+ tokens/sec의 속도는 실증됐지만 벤치마크 품질은 자기회귀 모델에 밀린다. 이미지 생성에서 GAN을 대체한 확산의 역사가 텍스트 영역에서 반복될지가 핵심 질문이다.