Anthropic, IPO 로드쇼 영상에서 다중 칩 전략과 컴퓨팅 자원 구상 설명

영상의 「Approach to compute」 부분에서 Tom Brown은 Claude를 주요 4개 계열의 칩으로 학습하고 제공하고 있다고 말했다. 칩마다 전용 소프트웨어 스택과 추론 스택이 필요해 구축은 비용이 많이 들고 어렵지만, 초기에 복수 칩 전략이라는 파격적인 도박을 걸어 여러 해에 걸쳐 숙달해 왔다는 설명이다.

AMD GPU는 올해 처음으로 사용하기 시작했다. 종래에는 새로운 칩 기반을 도입하는 데 수십 명의 엔지니어가 수개월을 들여야 했지만, 이번에는 Mythos에 시험하게 했더니 사람의 개입 없이 거의 3일 만에 Claude가 AMD에서 동작했다. 커널은 거의 100%를 Claude가 이식하거나 작성한 것으로 알려졌다.

계산상의 우위를 만드는 두 번째 요인으로 계산 자원 승수(compute multipliers)를 발견하는 속도를 꼽았다. 중시하는 지표는 물리적 용량과 발견한 승수의 곱인 총 실효 계산량이다. 예를 들어 4배 승수가 있으면 100단위가 필요한 모델을 25단위로 학습할 수 있고, 같은 100단위로 종래 400단위가 필요했던 더 똑똑한 모델을 학습할 수 있다고 설명했다.

승수는 서로 겹쳐 쌓이며, 나중에 찾은 것이 이전 것에도 좋은 영향을 주기 때문에 다른 회사가 흉내 내기 어렵다고 한다. 재귀적 자기 개선에 가까워지면 Claude 스스로 승수를 발견할 수 있게 되어 그 수가 가속도적으로 늘어난다고도 말했다. Simon Willison은 작년 9월의 장애 보고에서 TPU 배치에만 영향을 준 버그가 언급되어 있었다며, 복수 칩 전략의 단서가 있었다고 덧붙였다.