통합 멀티모달 모델의 생성 측 표현을 활용해 세밀한 시각 이해를 높이는 «GAFU»

GAFU는 통합형 멀티모달 모델(UMM)의 생성 측 표현을 컴팩트한 G 토큰으로 압축하여, 이해 측이 과제에 따라 이를 참조할 수 있도록 하는 사후 학습 프레임워크다. 같은 데이터로 학습한 SFT 베이스라인을 다양한 시각 이해 과제와 UMM 아키텍처 전반에서 앞섰으며, VStar-Bench, OmniSpatial, VSR-Bench에서의 상대적 개선폭은 최대 각각 20.00%, 17.94%, 8.62%다. 생성 경로의 보완적 정보가 세밀한 시각 이해의 향상으로 이어질 수 있음을 보여준다.