Thinking Machines Lab, 이미지·음성·텍스트 지원 오픈 모델 Inkling과 Inkling-Small 공개

Inkling은 디코더 전용 멀티모달 Mixture-of-Experts 모델로, 총 파라미터 975B, 활성 파라미터 41B, 전문가(expert) 수는 256개다. 텍스트, 이미지, 음성, 동영상 45조 토큰으로 학습되었으며, 위치 정보에는 RoPE 대신 상대 어텐션을 사용한다. 슬라이딩 윈도우 어텐션과 전역 어텐션을 5:1로 번갈아 배치하고, SConv라고 부르는 짧은 1D 합성곱도 갖추고 있다. 라우팅은 6개 전문가 선택에 더해 항상 활성화된 공유 전문가 2개로 구성된다. 이미지는 계층형 MLP 패치화로, 음성은 100ms마다 이산화한 멜 스펙트로그램으로 처리하며, 동영상 성능은 평가하지 않았다고 밝혔다.

가중치는 BF16과 NVFP4로 제공되며, 추측 디코딩용 MTP 드래프터도 함께 제공된다. 필요 VRAM은 BF16에서 2TB, NVFP4에서 600GB다. transformers, SGLang, vLLM, llama.cpp가 출시 첫날부터 지원하며, transformers 5.14.0도 같은 날 출시되었다. Unsloth는 1비트 GGUF를 제공하는데, VRAM을 95% 줄이면서 top-1% 정확도 약 74.2%를 유지하고 크기는 86% 작아졌다고 한다. Inference Providers에서도 이용할 수 있으며, 출시 후 2시간 동안은 추론 비용을 부담한다. 음성 지원은 작업 중이다.

Inkling-Small은 같은 아키텍처이며 MXFP8과 NVFP4 가중치를 지원한다. NVFP4 버전은 180GB로, B300 1장 또는 H200 2장에서 구동할 수 있다. Inference Endpoints에서는 RTX PRO 6000 8기를 사용하는 구성이 검증되었으며, 가동 1시간당 22달러이고 미사용 시 0으로 축소된다. 단일 사용자 기준 140 TPS를 얻을 수 있다(기사 서두에서는 최대 160 TPS로 소개).

기사에서는 이미지와 음성 추론을 간이 평가했다. 이미지에서는 먼저 OCR로 글자를 추출한 뒤 각 선택지를 평가하는 흐름을 보여주었고, 추론 노력(effort)은 medium이 효율적이라고 한다. 음성은 BigBenchAudio와 GlobeAudio 예시로 시험했으며, 이미지보다 토큰 소비가 적었다. 포스트 트레이닝에는 Thinking Machines의 tinker와 OpenEnv를 사용했고, 증류에는 TRL의 GOLD 알고리즘 예시가 소개되었다. 벤치마크 표에서는 HLE, SWEBench Verified, MCP Atlas, MMMU Pro 등을 다른 공개 모델과 비교했다.