CodeCap-Bench, 동영상 캡션으로서 코드의 유효성 평가

실행 가능한 코드를 동영상 캡션으로 활용하면 자연어보다 질의응답의 추론 정확도와 영상 재구성의 충실도가 높아지는 것으로 나타났다. 이를 검증하기 위해 구조화된 2D 콘텐츠 동영상 323편을 5개 카테고리로 나누고, 상세한 주석과 다단계 평가 프레임워크를 갖춘 CodeCap-Bench를 제안했다. 주요 상용 MLLM은 유망한 코드 캡션 능력을 보였으나, 복잡한 시간적 변화를 포착하는 데에는 여전히 과제가 남아 있으며 오픈소스 모델은 크게 뒤처지는 것으로 나타났다.