Ethan Mollick, Claude Code를 실측해 자율형 AI 코딩의 구조와 앞으로를 논하다

Mollick는 “수고 없이 월 1,000달러를 버는 창업 아이디어를 생각해서 구현해 줘”라고 Claude Code에 지시했다. AI는 선택형 질문 3개를 한 뒤, 전문가용 500개 프롬프트 모음을 39달러에 파는 안을 골랐고, 1시간 14분 동안 추가 입력 없이 수백 개의 코드 파일과 프롬프트를 만들었다. 마지막으로 실행하기만 하면 웹사이트가 공개되는 파일 하나가 전달되었다. 사이트에는 수상한 가짜 홍보 문구가 들어 있었으며, 판매 링크는 제거했다고 한다. 브라우저를 조작하게 한 사용자 테스트에서는 낙관적인 보고 뒤에 비판적인 보고도 요청했고, 후자가 문제점을 더 잘 짚어냈다고 밝혔다.

능력 향상의 요인은 AI가 많은 작업을 자율적으로 수행하고 스스로 수정할 수 있게 된 점과, AI에게 주어지는 에이전트용 하네스라는 두 가지로 꼽힌다. METR이 측정하는 AI가 50% 신뢰도로 자율 완료할 수 있는 작업의 길이는 기하급수적으로 늘어나고 있으며, 최근 몇 달 사이 크게 뛰어올랐다고 한다. Claude Code뿐 아니라 OpenAI의 Codex(GPT-5.2)와 Google의 Antigravity(Gemini 3)도 같은 구조라고 설명한다.

하네스의 장치로는 세 가지가 꼽힌다. 첫째는 컨텍스트 윈도우가 찼을 때 대화를 요약해 메모를 남기고, 새 상태에서 그 메모를 다시 읽는 ‘컴팩션’으로, 수 시간 연속 가동을 가능하게 한다. 둘째는 스킬로, AI가 필요에 따라 불러오는 평이한 언어의 지시문과 도구 묶음이다. Jesse Vincent가 소프트웨어 개발 전반을 다루는 무료 스킬 모음을 공개했다. 셋째는 저렴하고 빠른 모델에 작업을 맡기고 병렬 처리도 할 수 있는 서브 에이전트다. MCP를 쓰면 논문 접근이나 결제 데이터 분석 같은 외부 연동도 얻을 수 있다.

한편 AI에게 PC나 브라우저 접근 권한을 주면 파일 삭제나 기밀 데이터 접근 등의 위험이 있으므로, 백업을 해 두고 전용 폴더에서 사용하라고 권한다. 월 20달러 이상의 구독이 필요한 Claude Desktop은 CLI보다 기능은 적지만 초보자도 쓰기 쉽다. Mollick은 비프로그래머에게도 시도해 볼 가치가 있다고 하면서, Andrej Karpathy의 발언도 인용하며 다른 지적 작업용 하네스도 곧 등장할 것으로 예상했다.