Ethan Mollick, AI 에이전트가 실무를 맡기 시작했다고 주장 Claude Sonnet 4.5로 논문 재현을 시연

OpenAI가 공개한 새 테스트는 평균 14년의 경력을 가진 전문가가 설계한, 사람이라면 평균 4~7시간이 걸리는 실무 과제로 구성되어 있다. AI와 별도의 전문가 집단이 같은 과제를 수행했고, 제3의 전문가 집단이 출처를 가린 채 채점했다. 결과는 인간이 근소하게 앞섰으며, 산업에 따라 차이가 컸고 새 모델일수록 점수가 높았다. AI가 진 주된 원인은 환각보다 서식과 지시 따르기의 미비였다고 한다. Mollick은 이 추세가 이어진다면 차세대 모델이 평균적으로 인간 전문가를 넘어설 수 있다고 본다. 다만 측정된 것은 직업이 아니라 과제이며, AI가 일부를 맡는다고 해서 업무 전체가 대체되는 것은 아니라고 설명한다.

실례로 Mollick은 조기 접근 권한을 얻은 Claude Sonnet 4.5에 여러 실험을 포함한 경제학 논문의 본문과 재현용 데이터 아카이브를 전달했다. 지시는 논문의 발견을 데이터셋에서 재현하는 것과, 가능한 한 상호작용도 재현하는 것뿐이었다. Claude는 논문을 읽고 파일을 정리했으며, 통계 코드를 STATA에서 Python으로 변환하고 모든 발견을 확인한 뒤 재현에 성공했다고 보고했다. Mollick이 일부를 표본 확인했고, GPT-5 Pro에도 재현 결과의 재현을 시키자 결과가 일치했다. 다른 논문에서도 대체로 양호했지만, 파일 크기 제한이나 제공 데이터의 문제로 다루지 못한 사례도 있었다.

배경으로 Mollick은 AI 에이전트의 발전을 든다. 새 논문에 따르면 정확도가 조금만 올라도 처리할 수 있는 과제 수는 크게 늘어난다. 최신 추론 모델은 자기 수정도 할 수 있다. METR이 측정한 AI가 50% 이상의 정확도로 단독 완수할 수 있는 과제 길이는 GPT-3부터 GPT-5까지 5년 동안 거의 일정한 지수적 성장을 보였다고 한다.

한편 리스크도 지적한다. 사내 메모로 PowerPoint를 계속 만들게 하고 관점을 바꿔 17개나 생성해 본 경험에서, 목적을 따지지 않고 과제만 늘리면 AI 콘텐츠에 묻힌다고 경고한다. OpenAI 논문이 제시하는 절차는 먼저 AI에 맡기고, 부족하면 몇 차례 수정하거나 지시를 개선해 보며, 그래도 안 되면 직접 하는 것이다. 이 절차로 전문가는 40% 빨리, 60% 저렴하게 작업할 수 있고 AI에 대한 통제도 유지할 수 있을 것으로 추정된다.