시각 생성은 통합 멀티모달 모델의 지식을 넓힐 수 있을까

통합 멀티모달 모델은 생성 학습에서 이미지만으로 주어진 새로운 사실을 텍스트 질의응답에서 일부만 활용할 수 있는 것으로 Knowledge Transfer Probing(KTP) 검증을 통해 드러났다. 3개 모델과 7개 지식 범주를 조사한 결과, 모델은 생성 이미지 안에서는 사실을 재현할 수 있었지만 언어로 표현하는 데는 서툴렀다. 인터리브형 이미지·텍스트 정렬은 QA 교사 데이터가 없는 엔터티를 포함해 평균 QA 정확도를 높였으며, 텍스트만의 정렬을 웃돌았다.