Anthropic의 Fable 5.2, 실제 프리랜서 업무의 41% 완수… 1년 전 2.5%에서 상승
Anthropic's Fable 5.2 completes 41 percent of real freelance jobs, up from 2.5 percent a year ago
Scale Labs의 벤치마크에서 Anthropic의 Fable 5.2가 실제 프리랜서 과제의 41.3%를 완료했다. 벤치마크 시작 당시 1위였던 Manus는 2.5%였으며, 약 1년 만에 16배 이상 성장했다. 2위는 Opus 5.5의 21.25%, 3위는 GPT 6 Astra의 20.83%로, Fable 5.2는 차점 모델의 약 2배에 달하는 성공률을 기록했다.
이 벤치마크는 RLI 연구 논문을 바탕으로 하며, Upwork에서 인증을 받은 전문 프리랜서 358명이 완료한 240건의 과제로 구성된다. 과제 총액은 약 14만 4000달러이고, 건당 평균은 632.60달러이며, 사람 프리랜서가 과제 하나에 걸리는 시간은 평균 29시간 남짓이다. 영상 편집, CAD 설계, 게임 개발, 데이터 분석 등 폭넓은 분야를 포함한다.
AI 에이전트에는 Blender, GIMP, Audacity 같은 업무용 소프트웨어와 이미지·음성·영상 생성 AI 도구를 갖춘 가상 작업 환경이 주어진다. 성공 여부는 훈련을 받은 사람 전문가가 제출 파일을 전문 소프트웨어로 열어 사람 프리랜서의 결과물과 직접 비교해 판정한다. CAIS는 이 심사를 AI로 자동화하려 했으나 지금까지는 실패했다고 한다. AI 심사관은 전문 소프트웨어를 거의 다루지 못하고, 겉보기에는 완성도가 높지만 기술적 결함이 있는 결과물에 속아 평가가 느슨해진다는 것이다.
추이를 보면 7월 시점 1위는 Fable 5로 약 16%였다. 직전 모델인 Fable 5.1은 18% 조금 못 미치는 수준에 그쳤고, Fable 5.2의 41.3%는 7월 Fable 5의 약 2.5배에 해당한다. Google의 최강 모델 Gemini Argon 4는 17.08%로 5위였으며, GPT-5.2나 Gemini 3 Pro 같은 이전 모델들은 3% 미만이었다.
Scale Labs는 X에서 Fable 5.2의 성장이 특히 큰 분야는 음성·음악 편집, 건축·인테리어 설계, 3D 모델 제작이라고 밝혔다. 길고 복잡한 프로젝트도 처리할 수 있으며, 성공한 과제 중 50건 가까이는 테스트에 참여한 어떤 AI 에이전트도 풀지 못했던 과제라고 한다. 반면 산업 제품 디자인과 애니메이션은 거의 다루지 못한다. 실패할 때는 초보 수준의 결과물, 미완성 결과, 깨진 파일, 모순된 설계가 나오기 쉽다고 한다.
출처: The Decoder · the-decoder.com