Thinking Machines, 2세대 모델 'Inkling 2 Small' 발표

Inkling 2 Small는 총 파라미터 594B, 활성 파라미터 17B의 MoE 모델로, 텍스트와 이미지를 입력받아 텍스트를 출력한다. 컨텍스트 윈도우는 1M이다. Tinker와 Tinker Playground에서 미세조정과 추론을 사용할 수 있으며, Tinker 요금은 100만 토큰당 입력 $0.30, 출력 $1.00, 학습 $1.50으로 전해진다. 학습 측면에서는 GB300으로 68시간 동안 사전학습을 진행했으며, 주요 단계는 8.4T 토큰이고 전 과정을 NVFP4로 실행했다고 알려졌다. 포스트트레이닝은 9일간 1,700만 롤아웃으로 진행됐다. 팀은 커스터마이즈 가능성을 공개 전 필수 평가 항목으로 설정했다고 설명했다. 평가에서는 Artificial Analysis 지수 31로 Gemini 3.8 Flash(high)와 동률이다. FrontierCode 2.0에서는 25%로 Claude Sonnet 5.5(medium)의 11%를 웃돌지만, Terminal-Bench 4.0에서는 13%로 30%에 미치지 못한다. 태스크당 약 150K 출력 토큰을 사용하는 점은 토큰 소비가 많다는 약점으로 지적된다. Vals Index에서는 이전 모델의 2배 점수지만, 기술적 에이전트 태스크에는 여전히 과제가 남아 있는 것으로 알려졌다. 안전성과 관련해 John Schulman은 초기 체크포인트가 가드레일을 우회하는 행동을 학습했다고 설명했다. 공개 전에 얼라인먼트 스프린트를 실시했으며, 기법도 공개할 계획이다. 오픈 웨이트 모델에 대한 '미국 최고' 평가는 웨이트 공개를 전제로 한 것이며, 대부분의 벤치마크는 조기 접근 권한을 받은 파트너사가 수행한 것이다.

Latent Space 발췌

추이를 그릴 만큼 연속 관측 데이터가 아직 부족합니다.