EmbeddingGemma 2, 텍스트·이미지·오디오·영상을 하나의 공간에서 표현하는 오픈 임베딩 모델

EmbeddingGemma 2는 텍스트, 이미지, 오디오, 비디오, 그리고 이들의 조합을 네이티브로 하나의 같은 임베딩 공간에 넣는 모델이다. 단일 모달리티, 크로스 모달리티, 혼합 모달리티 평가 모두에서 높은 품질을 유지하는 것을 목표로 한다.

방법론 측면에서는 단순화된 per-layer embeddings와, 모달리티와 목적을 단계적으로 진행하는 다단계 커리큘럼을 도입했다. 논문은 이들이 각 평가에서의 품질을 뒷받침한다고 밝히고 있다.

성능 측면에서는 전 모달리티에 걸친 종합 임베딩 벤치마크에서 새로운 Pareto frontier를 세운 것으로 알려졌다. 전용 모델은 물론 2~12배 큰 모델도 능가한다고 설명하고 있다.

자원이 제한된 환경을 위해 필요한 모달리티의 인코더만 불러오는 선택적 로딩, 조절 가능한 vision token 예산, 잘라낼 수 있는 임베딩 차원, 양자화된 가중치를 지원한다. 주요 설계 판단은 어블레이션을 통해 분석했다.