본문 바로가기
원문
Hugging Face Daily Papers·· 28일 전AI 점수39

올바른 화면, 잘못된 전환: GUI 에이전트 검증기로서의 월드 모델

Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents

AI 요약

LGWM은 다음 화면의 표현을 직접 예측하는 디코더 없는 행동 조건부 월드 모델로, GUI 전환을 검증하여 하이재킹된 화면을 탐지한다. RSWT-BENCH에서 학습이 필요 없는 점수는 17밀리초에 AUC 0.987을 기록해 가장 강력한 클로즈드소스 VLM과 비슷한 수준이며, 생성형 GUI 월드 모델보다 약 10포인트 높고 지연 시간은 세 자릿수 이상 짧다. 유해한 위반과 무해한 위반을 구별하는 데서는 잔차 방향이 AUC 0.953에 도달했으며, 프롬프트를 준 VLM은 우연에 가까운 수준이다.

출처: Hugging Face Daily Papers · huggingface.co