Ethan Mollick, Gemini 3를 실제 업무로 검증…GPT-3 이후 3년간의 AI 진화를 보여주다
Three Years from GPT-3 to Gemini 3
Ethan Mollick은 Google의 새 모델 Gemini 3를 시험해 벤치마크 수치 대신 실제 작업 결과로 AI의 발전을 보여줬다. Antigravity를 이용해 자신의 과거 기사로 예측 사이트를 만들게 했고, 오래된 연구 데이터로 14페이지짜리 논문도 쓰게 했다. 오류는 남아 있지만, 인간의 역할이 수정하는 쪽에서 지휘하는 쪽으로 옮겨가고 있다고 주장한다.
Mollick은 ChatGPT 등장 직전에 쓴 GPT-3 기사의 스크린샷을 Gemini 3에 건네고 “무언가를 만들어 발전을 보여 달라”고 한 번만 지시했다. Gemini는 “캔디 구동 FTL 우주선으로 수달에게서 도망친다”는 당시의 소재를 플레이할 수 있는 시뮬레이터 게임으로 구현했다. 다만 필자는 이 정도는 독자도 상상할 수 있으며, 더 중요한 것은 다른 활용법이라고 말한다.
Google은 Gemini 3와 함께 Antigravity를 공개했다. Claude Code나 OpenAI Codex에 가까운 코딩 에이전트 도구로, Inbox에서 여러 에이전트에게 작업을 맡기고 허가나 도움이 필요할 때 알림을 받는 구조다. 필자는 자신의 뉴스레터 기사 전체가 담긴 디렉터리를 주고, AI에 관한 예측 목록과 각 예측의 적중 여부를 웹 검색으로 확인하는 사이트를 요청했다. Gemini 3는 파일을 읽고 계획을 제시했으며, 승인 후 웹 조사, 사이트 제작, 브라우저에서의 동작 확인까지 진행했다. 필자가 발견한 할루시네이션은 없었고, 수정은 주로 판단 차이나 의도의 오해에 관한 것이었다고 한다.
또 다른 시험은 “박사급 지능”이다. 10년 전 크라우드펀딩 연구의 잡다한 파일과 STATA 형식의 데이터를 주자, 손상된 데이터를 복구하고 정리했다. 이어 “독자적인 논문을 써 달라”고 지시하자, 힌트 없이 주제를 고르고 가설을 세우고 통계 검정을 수행해 14페이지 분량의 논문을 출력했다. 자연어 처리로 아이디어의 독창성을 측정하는 지표도 직접 만들었다고 한다.
평가는 유능한 대학원생의 작업으로는 통할 수준이지만, 통계 기법의 부족함이나 증거를 넘어선 이론화 같은 약점도 있다는 것이다. 학생에게 주는 것 같은 여지 있는 조언을 하자 크게 개선되었다고도 적었다. 필자는 챗봇의 시대가 디지털 동료의 시대로 옮겨가는 중이라고 보면서도, 여전히 관리자의 지도와 확인이 필요하다고 주장한다. 글 끝에는 에이전트에게 PC 접근 권한을 주는 위험에 대한 주의도 덧붙였다.
출처: One Useful Thing (Ethan Mollick) · oneusefulthing.org