Google DeepMind, 온디바이스용 멀티모달 임베딩 모델 EmbeddingGemma 2 공개

EmbeddingGemma 2는 작년에 공개된 텍스트 전용 임베딩 모델 EmbeddingGemma의 후속작으로, 코드, 이미지, 비디오, 오디오로 대상을 넓혔다. 초대 모델은 2,000만 회 넘게 다운로드되어 온디바이스 검색과 프라이버시 중시 RAG 파이프라인에 사용되어 왔다고 한다. Gemini Embedding 모델과 같은 기술을 기반으로 하며, 1B 미만 멀티모달 임베딩 모델 중에서 MTEB Code와 MAEB 등 벤치마크에서 높은 점수를 보였다고 밝혔다.

구성은 모듈식이다. 텍스트만 사용할 경우 270M 파라미터로 동작하며, 필요에 따라 비전용(170M)과 오디오용(300M) 인코더를 추가할 수 있다. Matryoshka Representation Learning(MRL)을 통해 출력 벡터를 768차원에서 512, 256, 128차원으로 잘라낼 수 있어, 로컬 벡터 데이터베이스와 메모리 사용량을 최대 6배 줄일 수 있다. Google Pixel 11 Pro에서 양자화 시 활성 RAM은 텍스트만 사용할 때 약 191MB, 풀 멀티모달일 때 약 567MB다.

컨텍스트 윈도우는 8K 토큰으로 초대 모델의 4배가 되었다. 최대 5.5분의 오디오, 29장의 이미지, 58프레임의 비디오, 또는 이들의 조합을 기기에서 처리할 수 있다. 코드 성능은 MTEB Code에서 9.92포인트 향상되었다. 로컬 코드베이스 인덱싱, 시맨틱 코드 검색, 코딩 에이전트의 검색에 적합하다고 한다.

Gemma 4와 텍스트 토크나이저 및 오디오 인코더를 공유하기 때문에, 두 모델을 같은 파이프라인에서 실행하면 전체 메모리 사용량을 줄일 수 있다. 모델 가중치는 Hugging Face와 Kaggle에서 받을 수 있으며, Model Garden 제공은 곧 예정되어 있다. 배포에는 Google AI Edge MediaPipe, LiteRT, transformers.js, WebGPU를 사용할 수 있으며, transformers, sentence-transformers, MLX, vLLM, llama.cpp, SGLang, Ollama, LMStudio에서의 실행도 지원한다. 벡터 저장에는 Qdrant가 소개되었고, 파인튜닝에 대해서는 Unsloth 가이드가 안내되어 있다.