Google DeepMind, 실험적 텍스트 확산 오픈 모델 DiffusionGemma 공개
DiffusionGemma: 4x faster text generation
Google DeepMind가 텍스트 확산(diffusion) 방식을 채택한 26B MoE 오픈 모델 DiffusionGemma를 Apache 2.0 라이선스로 공개했다. 전용 GPU에서 최대 4배 빠른 추론을 구현하며, 단일 NVIDIA H100에서 초당 1000개 이상의 토큰, NVIDIA GeForce RTX 5090에서 초당 700개 이상의 토큰을 출력한다. 다만 출력 품질은 표준 Gemma 4보다 낮아, 높은 품질이 필요한 용도에는 Gemma 4를 권장하고 있다.
DiffusionGemma는 토큰을 하나씩 생성하는 자기회귀형 대규모 언어 모델과 달리 256개 토큰 블록을 병렬로 생성한다. 총 파라미터 26B의 MoE 구조이며 추론 시 활성화되는 파라미터는 3.8B이고, 양자화하면 18GB VRAM에 들어간다고 한다. Gemma 4 패밀리와 Gemini Diffusion 연구를 기반으로 하며, 생성 속도를 높이기 위한 디퓨전 헤드를 탑재했다.
고속화의 이유는 디코딩의 병목을 메모리 대역폭에서 연산으로 옮긴 데 있다. 로컬에서 단일 사용자가 쓸 경우 기존 방식에서는 GPU가 다음 토큰을 기다리는 시간이 길어지지만, 이 방식은 한 번에 큰 처리를 맡겨 연산 자원을 최대한 활용할 수 있다. 반면 QPS가 높은 클라우드 서비스에서는 자기회귀 모델도 연산을 포화시킬 수 있어 이점이 작아지며, 서비스 비용이 오히려 높아지는 경우도 있다. 처리량의 우위는 단일 가속기에서 배치 크기가 낮거나 중간 정도일 때 가장 강하다.
생성은 무작위 플레이스홀더 토큰의 캔버스에서 시작해, 여러 번의 패스를 거치며 올바른 토큰을 확정하고 나머지를 다듬어 나간다. 양방향 어텐션 덕분에 각 토큰은 다른 모든 토큰을 참조할 수 있어, 인라인 편집, 코드 빈칸 채우기, 아미노산 서열, 수식 그래프 등 비선형적인 영역에 적합하다. 모델은 자신의 출력을 반복적으로 수정한다. Unsloth가 파인튜닝해 스도쿠를 풀게 한 사례도 공개되었다.
가중치는 Hugging Face에서 받을 수 있으며, 개발자 가이드와 'A Visual Guide to DiffusionGemma'도 공개되었다. MLX, vLLM(Red Hat 지원 통합), Hugging Face Transformers에서 실행할 수 있고, JAX 기반 Hackable Diffusion을 이용한 파인튜닝 튜토리얼도 마련되었다. Unsloth와 NVIDIA NeMo에서도 조정할 수 있으며, llama.cpp 공식 지원은 곧 예정되어 있다고 한다. NVIDIA와 함께 최적화해 GeForce RTX 5090 및 4090용 양자화, Hopper와 Blackwell용 NVFP4 커널을 지원한다. 데스크톱 GPU뿐 아니라 Gemini Enterprise Agent Platform Model Garden과 NVIDIA NIM에서도 실행할 수 있다.
자기회귀 모델과의 속도 차이가 발생하는 원리, 로컬 추론에 적합한 조건, 클라우드 배포에서는 장점이 줄어드는 지점이 정리되어 있어 용도를 가늠하기에 유용하다.
출처: Google DeepMind Blog · deepmind.google