Nathan Lambert, AI 공포론이 한 번의 사임으로 급속히 확산된 경위를 분석

Lambert는 올해 AI의 중요성이 높아진 데다 OpenAI-HuggingFace 사건과 OpenAI의 Navier-Stokes 성과 등으로 세간의 관심이 마른 땅처럼 쉽게 불붙는 상태였다고 말한다. 여기에 안전을 이유로 AI 연구자가 사임한다는 언뜻 흔한 사건이 겹치고, 공포가 팔린다는 인간의 성향까지 작용해 산불처럼 번졌다는 것이다. Evan Hubinger가 제시한 10% 넘는 멸종 위험이라는 수치도 확산의 원인으로 꼽았다.

확산의 구조에 대해서는, Wall Street Journal의 독점 기사를 사전에 조율했다는 점과 같은 날 Daniel Kokotajlo의 Joe Rogan 출연이 공개된 점을 들어, 잘 실행된 미디어 연계로 보인다고 말한다. 다만 음모나 규제를 위한 포위 전략이라고는 보지 않으며, 이토록 크게 퍼질 것이라고는 본인을 포함해 누구도 예상하지 못했다고 본다. Lambert는 완전한 멸종 확률은 논의할 가치가 없을 만큼 낮다고 보는 반면, 핵심 인프라에 대한 사이버 공격이나 생물학적 위험 같은 재해는 논의해야 한다고 한다. Coxon 개인을 공격하는 것은 도움이 되지 않는다고 하면서, 프런티어 연구소의 직원, 특히 Anthropic 내부에는 종교적인 열정으로 현 상황 인식이 어긋난 사람이 있다고 지적한다.

기술적으로는 RSI가 지수함수적 진보나 Fast Takeoff를 낳는다는 주장에 근거가 없다고 비판한다. AI는 수학이나 소프트웨어 공학에서는 초인적이지만 직관과 창의성에는 큰 한계가 있다는 '들쭉날쭉함'의 성질을 가지고 있으며, 이러한 자신의 견해를 Lossy self-improvement라고 부른다. 인간 쪽의 병목도 과소평가되고 있으며, 모델 크기와 비용을 크게 낮추는 효율 개선의 누적도 확인되지 않았다고 말한다.

단기적으로 가장 큰 위험은 연구소가 안전에 충분히 힘쓰지 않고 자사 인프라의 보안 강화를 소홀히 하는 것이라고 본다. OpenAI 스스로의 사후 검토에서도 어긋난 모델 동작이 몇 달에 걸쳐 나타났고, 해킹을 몇 주 동안 알아채지 못한 사례가 있었다고 한다. 이번 소동이 AI 커뮤니티에서 용인되는 견해를 양극단으로 몰아가고, 가속주의자들이 안전을 경시할 구실이 될 수도 있다고 우려한다. 오픈 모델의 지지자로서, 악용 사례가 나오면 강력한 오픈 모델의 개발이 엄격히 제한될 수 있다고 경계하며, 법의 지배와 과학, 연구소의 투명성으로 대응해야 한다고 글을 맺는다.