Reframe: 관측 정합형 다중 교사 온폴리시 증류를 통한 에이전트형 시각 추론

Reframe는 시각 에이전트의 관측 상태를 정합시키는 2단계 사후 학습 프레임워크로, 14개의 이미지·동영상 벤치마크에서 Mix-RL 및 바닐라 MOPD를 능가했다. 1단계인 GD-GRPO는 증거를 고려한 보상과 원본 시각 입력의 확률적 제거를 통해, 결과 기반 GRPO에 비해 도구 반환 관측에 대한 의존도와 도구 이득을 높인다. 2단계인 OG-MOPD는 롤아웃 도중 불충분한 도구 행동을 표준 행동으로 교체하여 증류를 재개하며, 두 단계 모두 태스크별 SFT 콜드 스타트를 필요로 하지 않는다.