Ethan Mollick, AI와의 관계가 협업에서 '마법사'로 옮겨 간다고 주장
On Working with Wizards
Ethan Mollick은 AI가 함께 일하는 상대에서, 과정은 보이지 않은 채 고품질 결과물을 돌려주는 '마법사'로 바뀌고 있다고 주장한다. NotebookLM의 동영상 요약, GPT-5 Pro의 논문 재분석, Claude 4.1 Opus의 Excel 작성을 예로 들며, 결과를 확인하기 어렵다는 점과 전문성을 키울 기회가 사라지는 점을 과제로 제시했다. 대응책으로 구분해 쓰기, 결과물을 가려내는 안목, 잠정적 신뢰라는 세 가지를 제안한다.
Mollick은 저서 Co-Intelligence에서 AI를 인턴 같은 공동 작업자로 보는 관점을 제시했다. 최근 AI의 성격이 바뀌어 인간은 협업자에서 결과를 받아보는 청중이 되어 가고 있다고 말한다. 구체적 사례 중 하나는 자신의 저서와 약 140편의 One Useful Thing 기사를 NotebookLM에 입력해 만든 동영상 요약이다. 수치는 정확했고 실질적인 오류도 없었지만, 슬라이드 구성이나 논점을 고른 이유는 알 수 없었다고 한다.
두 번째 사례는 GPT-5 Pro다. 자신의 취업 시장용 논문에 '방법을 비평하고 더 나은 방법을 찾아 적용하라'고 지시하자 9분 40초 만에 상세한 비평이 돌아왔다. 코드로 검증하고 Monte Carlo 분석도 수행했다고 하며, 두 표와 관련된 그때까지 아무도 눈치채지 못한 작은 오류도 찾아냈다. 다만 AI가 실제로 무엇을 했는지는 확인할 수 없어, 결과의 옳고 그름은 직접 조사해야 한다고 지적한다.
세 번째는 Claude 4.1 Opus다. 책상 제조업의 재무 모델을 다루는 수업용 여러 시트 Excel을 치즈 가게용으로 고쳐 달라고 하자 몇 분 만에 새 파일이 만들어졌다. 이어서 요청한 PowerPoint는 기초로는 충분했지만 완성품은 아니었으며, AI의 능력이 고르지 않다는 점도 드러났다. 수식이나 모델에서 자신이라면 다르게 선택했을 부분은 있었지만 실질적인 오류로 보이지는 않았다고 한다.
이러한 새로운 AI는 강화학습을 통해 스스로 절차를 익히는 에이전트이며, 인간은 그 절차를 고를 수 없다. Claude가 보여 주는 절차는 요약에 그치고, GPT-5 Pro의 정보는 더 적으며, NotebookLM은 거의 아무것도 보여 주지 않는다. 결과가 좋을수록 오류를 알아차리기 어려워지고, AI에 맡길수록 자신의 판단력을 키울 기회도 잃는다고 경고한다.
그가 제안하는 새로운 리터러시는 세 가지다. 마법사를 부를 때, 공동 지능으로 쓸 때, AI를 쓰지 않을 때를 구분하는 것. 과정이 아니라 결과물을 가려내는 안목을 갖추는 것. 완전한 검증이 어려워지므로 '충분히 쓸 만한가'를 기준으로 잠정적 신뢰를 받아들이는 것이다. 교육에서는 익숙하지 않은 분야에서 검증 능력을 어떻게 키울지가 시급한 과제가 될 것이라고 말한다.
출처: One Useful Thing (Ethan Mollick) · oneusefulthing.org