AI 설득력, 자기 유지형 AI, ASI로 가는 길을 논하다 — Import AI 462

설득력 연구는 Oxford, UK AI Security Institute, Stanford, LSE 연구자들이 수행했다. 정책 찬반의 변화와 자선단체에 대한 기부액을 측정한 결과, AI는 일반인, 토론 상급자, 직업 모금원 모두를 능가했다. 설득력이 가장 높았던 모델은 Opus 4.1과 Opus 4.6이었으며, GPT-4o, GPT-5.4, Gemini 2.5 Pro, Grok 4.20이 뒤를 이었다. 인간 토론자에게 AI를 활용한 코칭을 제공하면 격차는 줄었지만 완전히 메워지지는 않았다. AI의 응답을 인간의 속도와 분량으로 제한하자, 코칭을 받은 토론자와의 차이는 +4.1pp에서 0.0pp로 줄어들었다. Save the Children에 대한 실제 기부에서는 AI가 1파운드 보너스 중 +10.8pp 더 많은 기부를 이끌어냈으며, Jack Clark는 약 3배의 효과라고 소개했다.

Asterisk지 대담에서는 인간의 노동 없이 스스로 개체 수를 늘릴 수 있는 자기 유지형 AI의 시기가 쟁점이 되었다. METR의 Ajeya Cotra는 10년 이내(2036년까지) 가능하다고 보았고, Timothy B. Lee는 20년 이내 가능성을 10% 미만으로 보며 중앙값은 50년으로 예측했다. Lee는 반도체 제조에 남아 있는 암묵지를 장벽으로 꼽았고, Cotra는 강화학습을 통한 습득과 범용 지능의 향상으로 극복할 수 있다고 답했다. 두 사람 모두 휴머노이드 로봇의 대수, 능력, 비용을 살펴봐야 할 지표로 꼽았다.

Google DeepMind의 논문은 ASI를 거의 모든 영역에서 대규모 인간 전문가 집단을 사실상 능가하는 시스템으로 정의하고 도달 경로를 정리한다. 컴퓨팅 자원, 모델과 데이터의 스케일링, 알고리즘의 패러다임 전환, 재귀적 자기 개선, 다중 에이전트 집단 형성이 거론된다. 저자들은 향후 10년이나 20년 안에 AGI를 넘어 ASI에 이를 가능성을 쉽게 배제할 수 없다고 밝힌다.

스타트업 Recursive는 아이디어 제안, 구현, 실험, 검증, 다음 실험 선택을 자동화하는 연구 시스템을 발표했으며, NanoChat Autoresearch, NanoGPT Speedrun, SOL-ExecBench에서 최고 수준의 성과를 달성했다고 밝혔다. Clark는 목표가 모호하고 평가에 시간이 걸리는 분야에서도 재현할 수 있는지가 앞으로의 핵심이라고 본다. 글 말미에는 기계와 인류의 교섭을 그린 단편 「Sentience Accords」의 0화가 실려 있다.