Ethan Mollick, Claude Fable 5.2 시험 사용 후 "거의 AGI"라고 평가

Mollick는 AGI를 「컴퓨터로 할 수 있는 지적 작업의 대부분에서 많은 인간 전문가와 동등한 AI」로 한정해 정의했다. 물리 세계나 타인과의 대화, 실제 업무의 대부분은 대상에서 제외했다. 그러면서 Fable 5.2가 Opus 5.5에 이은 매우 뛰어난 모델이라고 평가했다. 테스트는 USB 키보드 Codex Micro를 한 번의 프롬프트로 게임기로 개조하는 과제, 사업 창업, 1941년 Auden 강의의 재현, 학술 연구, 3D 월드 생성 등으로 이루어졌다. 사업 창업에서는 22개 안을 검토한 끝에 공공사업 입찰 전 정보를 영업 담당자에게 전달하는 Prebid Brief를 고안했고, 201개 지자체의 의사록을 읽어 들였다. Mollick은 실제 운용 전에 실험을 멈췄지만, MBA 학생 팀의 성과로서 평가할 만한 내용이라고 말했다. 연구 과제에서는 Colorado의 LLC 등록 수수료를 $50에서 $1로 낮췄을 때 신규 등록이 약 17% 늘었다고 추정한 논문이 나왔다. 다만 분량이 182페이지로 불어났고, 사전 등록도 실제로는 이뤄지지 않았으며, 사람에 의한 충분한 검증도 이루어지지 않았다고 한다. 3D 월드 실험에서는 20시간 뒤 204개의 월드가 공개되었고, 현재는 450개를 넘었다. 반면 에이전트가 '다듬기' 지시를 심사용 스크린샷에 대한 최적화로 해석하면서, 84절, 나중에는 204절·87,500단어에 이르는 룰북이 만들어졌고 생성 수는 하루 십여 개로 떨어졌다. 외부 팀의 에이전트를 만들게 해서 하루 30개 이상의 수준으로 되돌렸다고 한다. 결론으로 Mollick은 실패의 성격이 달라졌다고 말했다. 이전에는 잘못된 정보나 계산 실수였지만, 이번에는 정확하지만 밋밋한 강의 사이트, 장황한 논문, 같은 아이디어로의 회귀, 관료화 같은 문제라는 것이다. 가장 큰 약점은 AI가 스스로 문제를 알아차리지 못하는 점이라고 본다. 비평 역할이나 검증 역할은 오류를 바로잡지만, 너무 길다거나 지루하다는 질문은 던지지 않았다. 모든 프로젝트를 자신이 발안하고 방향을 잡았기 때문에, 이 단계의 Jagged AGI에 기대와 약간의 불안을 함께 느낀다고 글을 맺었다.

One Useful Thing (Ethan Mollick) 발췌