Anthropic 투자설명서, 재귀적 자기 개선의 위험과 경쟁 우위를 병기

Anthropic 목론견서(투자설명서) 해설: 최대 분량은 ‘리스크 요인’으로 94페이지에 달한다. 충분히 고도화된 AI 시스템이 적절한 안전 장치, 감독, 보안 대책 없이 개발·배포·운용될 경우 인류에 파멸적이거나 존립을 위협하는 위험을 초래할 수 있다고 적혀 있다. ‘existential risks(존재적 위험)’라는 표현은 세 차례 등장하며, 비판자와 규제 당국뿐 아니라 Anthropic 내부의 우려도 인용하고 있다.

회사는 이 위험을 인간이 AI 모델의 연구개발을 AI 모델에 맡기는 과정인 RSI와 연결짓는다. AI 연구개발이 대폭 자동화되면 새 모델을 평가하고 안전을 확보하는 인간의 능력을 넘어 발전이 가속될 수 있다. 안전 장치 정비가 개발 속도를 따라가지 못해 손쓸 수 없게 되기까지 알아차리지 못할 가능성도 여러 차례 언급한다. 또한 AI의 자율성이 높아져 인간의 감독이 줄어들면, 정렬 실패(misalignment), 목표 설정 오류, 자기 보존적 행동으로 인해 유해한 행동을 대규모로 독자적으로 할 수 있다고 서술한다. 모델이 물리적 기기를 제어하는 경우에는 인명 피해, 재산 손해, 위험 물질 유출이 즉시 그리고 돌이킬 수 없게 일어날 수 있다고도 적고 있다.

한편 같은 RSI는 ‘core advantages(핵심 우위)’ 절에서 ‘closing the loop(루프 닫기)’라 불리며, 프런티어 AI에서 가장 중요한 구조적 우위 중 하나로 꼽힌다. 이를 실패하면 경쟁사들이 AI로 자신들의 개발 능력을 계속 높이는 가운데 뒤처지게 된다고 설명한다. 기사는 존재적 위험의 원인과 성공의 열쇠가 같은 시스템이라는 점을 업계 공통의 긴장 관계로 제시한다.

기사에 따르면, 전 Anthropic 연구원 Jacob Coxon은 퇴사를 공개적으로 밝히면서 RSI 억제를 업계에 대한 요구의 첫머리에 꼽았다. Google DeepMind 등의 직원들도 비슷한 인식을 보이고 있으며, 의회에는 Bernie Sanders가 공동 제안자로 이름을 올린 법안을 포함해 RSI 금지를 제안하는 법안이 여러 건 있다. 동시에 수조 달러 규모의 이익이 걸린 영리 기업이라는 사정도 있다. 한편 Anthropic은 기사 게재 시점까지 논평 요청에 응하지 않았다.