Hugging Face Daily Papers·· 7일 전AI 점수46
JEPA를 통한 Platonic Representation Hypothesis의 증명과 개선
Proving and Improving the Platonic Representation Hypothesis with JEPAs
AI 요약
JEPA는 양의 쌍이 같은 장면을 본 두 관측(좋은 뷰)이면, 따로 학습한 여러 모달리티의 인코더가 회전 하나를 제외하고 같은 표현으로 수렴함을 증명했다. 다음 토큰 예측보다 42배 적은 샘플로 같은 정합성에 도달했으며, 109M 규모의 텍스트 JEPA는 최대 72B 규모의 언어 모델보다 DINOv2·CLIP 이미지 인코더와 더 잘 정합했다.
출처: Hugging Face Daily Papers · huggingface.co