Google DeepMind, 인코더 없는 멀티모달 모델 Gemma 4 12B 발표
Introducing Gemma 4 12B: a unified, encoder-free multimodal model
Google DeepMind가 노트북용 멀티모달 모델 Gemma 4 12B를 발표했다. 이미지와 음성 입력을 인코더 없이 LLM 본체에 직접 전달하는 구조이며, 16GB VRAM 또는 통합 메모리에서 동작한다. Apache 2.0 라이선스로 공개되었으며, Hugging Face와 Kaggle에서 가중치를 내려받을 수 있다.
Gemma 4 12B는 엣지용 E4B와 고성능 26B MoE 사이에 위치한 모델이다. 표준 벤치마크에서는 26B MoE에 근접한 성능을 보이면서도 총 메모리 사용량은 절반 미만에 그친다고 한다. 중형 모델로서는 처음으로 네이티브 음성 입력을 지원한 점도 특징으로 꼽힌다. Gemma 4 전체 다운로드 수는 1억 5천만 건을 넘었다.
가장 큰 특징은 인코더를 사용하지 않는 통합 아키텍처다. 기존 멀티모달 모델은 이미지와 음성을 별도의 인코더로 변환한 뒤 언어 모델에 전달하는데, 이는 지연 시간과 메모리 사용량 증가로 이어진다. Gemma 4 12B에서는 시각 입력용 인코더를 단일 행렬 곱, 위치 임베딩, 정규화로 구성된 경량 임베딩 모듈로 대체하고, 시각 처리는 LLM 본체가 담당하도록 했다. 음성은 인코더를 완전히 제거하고, 원시 음성 신호를 텍스트 토큰과 같은 차원 공간으로 투영한다.
지연 시간을 줄이기 위한 Multi-Token Prediction(MTP) 드래프터도 갖추고 있다. LM Studio, Ollama, Google AI Edge Gallery App, LiteRT-LM CLI 등에서 사용해 볼 수 있다. 가중치는 사전 학습 버전과 지시 튜닝 버전이 Hugging Face와 Kaggle에서 배포된다.
개발 측면에서는 Hugging Face Transformers, llama.cpp, MLX, SGLang, vLLM으로 로컬 추론 파이프라인을 구축할 수 있으며, 파인튜닝에는 Unsloth를 사용할 수 있다. 또한 에이전트가 Gemma로 개발하기 위한 스킬 모음인 공식 Skills Repository도 공개됐다. 프로덕션 환경에서는 Google Cloud의 Gemini Enterprise Agent Platform Model Garden, Cloud Run, GKE에 배포할 수 있다.
이미지와 음성을 인코더 없이 LLM 본체에 직접 입력하는 구조와 16GB에서 동작하는 메모리 요건이 제시되어 있어, 로컬 운용을 판단하는 데 참고가 된다.
출처: Google DeepMind Blog · deepmind.google