Omni-Woodpecker, Omni LLM의 크로스모달 환각을 학습 없이 보정하는 기법 제안

Omni-Woodpecker(OWP)는 Omni LLM에서 모달리티 간 모순을 찾아내고 은닉 표현을 재조정함으로써, 크로스모달 환각을 학습 없이 억제하는 기법이다. 백본으로 Qwen2.5-Omni-7B를 사용했을 때 CMM과 AVHBench에서의 향상 폭은 각각 12.9포인트와 8.6포인트였으며, 범용 추론 벤치마크 4종에서는 0.67~2.25포인트 향상되었다. VideoLLaMA2-AV에도 적용할 수 있었고, 같은 벤치마크에서 각각 4.6포인트와 3.9포인트 개선되었다. 코드는 공개되어 있다.