110개 이상의 앱으로 학습한 오픈 스마트폰 에이전트 'OpenMobile-2' 공개

실제 앱에서의 학습은 로그인과 실제 구매가 얽혀 있고 상태를 초기화할 수 없어 비용이 많이 들고 재현도 어렵다. 이에 연구팀은 주로 중국에서 널리 쓰이는 Taobao, JD, DiDi, Meituan 등 35개 앱과 Slack, Google Drive 같은 글로벌 서비스를 재현했다. 기존 시뮬레이션 및 Android 에뮬레이터 상의 앱과 합치면 학습 환경은 110개 이상의 앱에 이른다. 각 시뮬레이션은 자동으로 초기 상태로 돌아가며, 에이전트는 스크린샷만 보고 조작한다. 이 환경에서 약 11,600건의 워크플로 예시와 성공 여부를 자동으로 판정할 수 있는 2,000건 이상의 과제를 생성했다. 교사 모델로는 Gemini 3.1 Pro를 사용해 폐쇄형 모델로부터 학습하는 방식이다.

벤치마크에서 27B 버전은 AndroidWorld에서 67.1점에서 79.9점으로, 9B 버전은 54.3점에서 74점으로 향상됐다. 이전 세대인 OpenMobile-1은 64.7점이었다. 여러 앱에 걸친 긴 과제인 MobileWorld에서는 27B 버전이 35.9점에서 50.4점이 됐다. 실기기 기준의 SPA-Bench에서는 27B 버전이 31.9점에서 59.6점으로 올랐으며, 연구자들은 이를 오픈 모델 중 최고 수치라고 밝혔다.

데이터량을 일정하게 두고 앱 수만 늘렸더니, 학습에 없던 앱에서의 성공률이 60.7%에서 67.5%로 올랐다. 같은 데이터 예산이라면 소수 앱의 예시를 늘리는 것보다 앱의 다양성이 더 효과적이라는 결과다. 강화학습으로 얻는 추가 향상은 제한적이었으며, 주로 학습 환경과 가까운 조건에서 효과가 나타났다. AndroidWorld에서 27B 버전은 80.8점에서 79.9점으로 소폭 하락했다.

실험적 요소로, 50개 이상의 시뮬레이션 앱이 '장바구니에 추가'와 같은 직접 명령어를 갖추고 있어 에이전트는 화면 조작과 이 명령어들을 상황에 따라 구분해 사용한다. 학습 전에는 단축 명령어를 거의 쓰지 않았지만, 학습 후에는 과제를 최대 10.3포인트 더 많이 해결했고 단계 수도 약 5단계 줄었다. 학습 시 보지 않은 도구에도 이 능력이 전이된다고 한다. 다만 이러한 인터페이스는 시뮬레이션 앱에만 존재하며, 연구자들 스스로도 이 방법을 실험적인 것으로 규정하고 있다. 자체 구축한 215개 과제의 벤치마크는 실행 전후의 앱 내 데이터를 프로그램으로 비교해 성공 여부를 판정한다.