본문 바로가기
원문
Hugging Face Daily Papers·· 3일 전AI 점수31

Reviso: 비디오 캡셔닝에서 모든 시각적 증거에 같은 주의를 기울일 필요는 없다

Reviso: Not All Visual Evidence Deserves Equal Attention in Video Captioning

AI 요약

Reviso는 계층적 계획과 능동적 지각을 통해 중요한 시각적 증거를 우선시하는 에이전트형 비디오 캡셔닝 프레임워크다. 4개의 비디오 캡셔닝 벤치마크에서 평가 대상이 된 오픈소스 베이스라인을 능가했으며, 생성된 캡션은 다운스트림 비디오 질의응답을 더 잘 뒷받침했다. 학습에는 GRPO를 사용했고, 핵심 사실 보상, 계획 정합 보상(PAR), 비생산적 도구 호출 페널티(UTCP)를 결합했다.

출처: Hugging Face Daily Papers · huggingface.co