JEPA를 통한 플라톤적 표현 가설의 증명과 개선

JEPA는 양의 쌍이 같은 장면을 본 두 관측(좋은 뷰)이면, 따로 학습한 여러 모달리티의 인코더가 회전 하나를 제외하고 같은 표현으로 수렴함을 증명했다. 다음 토큰 예측보다 42배 적은 샘플로 같은 정합성에 도달했으며, 109M 규모의 텍스트 JEPA는 최대 72B 규모의 언어 모델보다 DINOv2·CLIP 이미지 인코더와 더 잘 정합했다.

Hugging Face Daily Papers 발췌