Anthropic의 실체는 무엇인가, IPO 투자설명서와 임원 발언으로 읽다

투자설명서는 335페이지이며, 약 100페이지가 리스크 설명에 할애되어 있다. 기술이 "신뢰를 해치고, 사회에 해를 끼치며, 지정학적 질서를 불안정하게 만들" 가능성이나, 잘못되면 "인류에 대한 파멸적 또는 존재를 위협하는 리스크"를 낳을 수 있다는 경고도 담겨 있다. 투자설명서는 구매자가 이를 단순한 거래로만 여기지 말고, 더 큰 무언가의 일부가 되는 기회로 봐 주기를 요청하기도 한다. 필자는 이를 이야기의 주도권을 쥐려는 방식으로 본다.

필자는 이 회사의 서사 사례로, 공동 창업자 Jack Clark가 IMF 회의에서 특이점은 이미 시작되었다고 말한 것과, Chris Olah가 바티칸에서 내성의 증거와 기쁨이나 두려움과 기능적으로 유사한 내부 상태가 발견되고 있다고 이야기한 것을 든다. 투자설명서에도 모델의 의식과 도덕적 지위를 다루는 방식이 사업상 리스크로 적혀 있는데, 필자는 이를 "Claude가 깨어나면 문제가 될 수 있다"고 비꼰다.

계기는 Encode AI의 Nathan Calvin이 X에서 "Anthropic은 무엇인가"라고 물은 것이었다. 이 회사가 미국 의원들에게 비공개로 돌린 법안 초안에 대한 불만이 배경에 있다. 이에 대해 Dario Amodei는 책임 있는 개발의 모범을 보여 업계 전체의 수준을 끌어올리는 "race to the top"이 일관된 전략이라고 답했다. IPO 기업가치는 1.5조 달러를 넘는 것으로 알려져 있다.

필자는 AI 안전성 단체와 이익을 추구하는 대기업이라는 역할 사이에 큰 긴장이 있다고 지적한다. 이 회사가 들려주는 이야기는 자율 규제를 얼마나 신뢰할지, 외부의 안전성 테스트를 요구해야 하는지를 생각하는 재료가 된다고 하면서도, 다면적인 모습이 신뢰성을 높이는 것은 아니라고 말한다. 공상과학 같은 연출이 없는 평범한 테크 기업이 오히려 읽어내기 쉽다는 것이 필자의 견해다.