Alibaba MAI-UI 팀, 범용 컴퓨터 조작 에이전트 풀스택 오픈소스 OpenGCUA 공개
OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use
Alibaba 팀은 범용 컴퓨터 조작 에이전트(GCUA)의 풀스택을 공개하는 프로젝트 OpenGCUA의 첫 릴리스를 발표했다. OSWorld-v2에서는 GPT-6 Astra, Claude Opus 5, Gemini 3.8 Flash를 포함한 8개 모델이 평균 +19.6포인트 향상되었고, 단계 수는 53% 줄었다고 밝혔다. 기술 보고서, 평가 궤적, macOS용 harness, Cross-Device SDK, 온라인 인터랙티브 랩도 포함된다.
OpenGCUA는 Alibaba의 MAI-UI 팀이 추진하는 프로젝트로, 커뮤니티와 함께 GCUA의 풀스택을 개발하고 공개하는 것을 목표로 한다. 첫 릴리스에는 기술 보고서, GCUA 설계, 8개 프런티어 모델의 harness 평가 궤적, macOS용 실기기 harness, Cross-Device SDK, 온라인에서 체험할 수 있는 인터랙티브 랩이 포함된다.
GCUA는 '스크린샷을 보고 클릭하는' 방식에 머무르지 않고, 관찰, 조작, 작업 구성 방법을 모델 스스로 결정한다. 접근성 트리 읽기, API 호출, 셸 명령 실행을 사용하며, GUI 조작은 필요할 때만 수행한다. 설계상의 특징은 GUI 조작을 코드로 작성해 접근성, API, 셸 조작과 하나의 프로그램으로 묶는 것이다. 반복문과 분기, 중간 결과에 따라 다음 동작이 결정된다. 워크플로 판단도 고정된 harness 규칙에서 모델로 넘어가며, 예를 들어 스크린샷은 필요할 때만 요청한다.
OSWorld-v2에서는 GPT-6 Astra, Claude Opus 5, Gemini 3.8 Flash를 포함한 8개 모델 모두 성능이 향상되었으며, 평균 +19.6포인트, 단계 수는 53% 적었다. 가장 강한 모델과 가장 약한 모델의 격차도 절반 이상 줄어든 것으로 알려졌다. harness 구현, 프롬프트, 전체 평가 궤적은 모두 오픈소스로 공개된다.
출처: Hugging Face Daily Papers · huggingface.co