Hugging Face Daily Papers·· 17일 전AI 점수31
FocusGUI: 옴니모달 GUI 에이전트를 위한 경량 어댑터
Focused Omni-Modal GUI Agents
AI 요약
FocusGUI는 GUI 에이전트가 단계마다 관련된 멀티모달 정보를 동적으로 선택하는 경량 어댑터로, 백본을 파인튜닝하지 않고도 행동의 정확도를 높인다. 4개의 옴니모달 백본으로 평가한 결과, 고정된 백본과 비교해 평균 Type Match는 +33.2, Exact Match는 3.0배가 되었으며, 기존 최강의 강화 기법과 비교해서도 Type Match가 +30.1 높았다고 한다. 학습에는 행동의 교사 신호만 사용하며, 모달리티 관련성 레이블은 필요하지 않다.
출처: Hugging Face Daily Papers · huggingface.co