Ethan Mollick, GPT-5.5 조기 접근으로 직접 테스트하며 발전과 남은 굴곡 평가
Sign of the future: GPT-5.5
Ethan Mollick은 GPT-5.5에 조기 접근해 AI의 빠른 개선이 이어지고 있다고 평가했다. GPT-5.5 Pro는 3D 항구 도시 시뮬레이션에서 도시의 진화를 실제로 모델링할 수 있었던 유일한 모델이었으며, 소요 시간도 GPT-5.4 Pro의 33분에서 20분으로 줄었다. 한편 장편 픽션의 품질 등 능력의 굴곡은 여전히 남아 있다.
Mollick은 o3부터 Kimi K2.6, GPT-5.5 Pro까지의 모델에 「기원전 3000년부터 서기 3000년까지 항구 도시의 진화를 그리는 3D 시뮬레이션을 만들라」는 과제를 주고 결과를 갤러리에 공개했다. GPT-5.5 Pro만이 건물을 교체하는 것이 아니라 도시의 진화 자체를 모델링했다고 한다. GPT-5.5 Pro는 속도도 향상되어, GPT-5.4 Pro는 33분, GPT-5.5 Pro는 20분이 걸렸다.
Mollick은 AI를 모델, 앱, 하네스(도구와의 연결)라는 세 가지 요소로 보아야 한다고 말한다. OpenAI는 이 세 영역 모두에서 전진하고 있으며, GPT-5.5 Pro는 웹사이트에서만 이용할 수 있다. 앱 측면에서 Codex는 Claude Code를 본떠 데스크톱 앱으로 사용하기 편해졌다. 하네스 측면에서는 새로운 이미지 모델이 고품질 문자 렌더링을 지원해 otter 테스트 이미지도 만들 수 있었다.
실천 사례로, 10년간 방치해 둔 크라우드펀딩 관련 익명화 데이터 수백 개 파일을 Codex에 넘겨 가설 생성, 검증, 문헌 검토가 포함된 논문 작성까지 요청했다. GPT-5.5 Pro의 평가를 되돌려 개선한 결과 문헌과 통계는 실재했고 명백한 오류는 없었다. 가설이 전문가에게는 그다지 흥미롭지 않고 인과관계에 대한 우려는 남지만, 박사 과정 2년차 프로젝트로는 충분한 수준이라고 평가했으며, 프롬프트는 4회였다고 한다.
또 다른 사례에서는 Codex에 독자적 세계관의 TRPG를 만들게 하고, 플레이어 시뮬레이션을 통해 규칙을 개정하게 했다. 이미지가 포함된 101페이지 PDF가 완성되었고 설정과 규칙은 양호했다. 다만 으스스함에 치우친 경향, 지나치게 꾸민 문장, 등장인물들의 말투가 비슷해지는 점, 「Mara」라는 이름의 과다 사용 등 AI 글쓰기의 버릇은 남아 있다. Mollick은 능력의 굴곡이 있는 경계는 남아 있지만 예전보다 훨씬 멀리 이동했다고 맺는다. 한편 OpenAI로부터 금전을 받지 않았고 기사는 사전에 보여주지 않았다고 밝혔다.
early access 체험기로 실제 과제를 돌려본 기록이며, 모델·앱·하네스 세 층위에서 발전을 파악하는 관점과 남은 약점을 구체적 사례로 확인할 수 있다.
출처: One Useful Thing (Ethan Mollick) · oneusefulthing.org