NVIDIA, 오픈 모델 Nemotron 3.5 Super VL과 Bolt 2종 발표

Nemotron 3.5 Super VL은 지시 따르기, 도구 사용, 다단계 업무 워크플로, 시각 이해 등 멀티모달 에이전트 작업을 위한 모델이다. NVIDIA는 최대 규모 추론 모델에 맞먹는 정확도를 약 5분의 1의 파라미터 수로 달성했다고 밝혔다. Artificial Analysis 리더보드에서는 같은 등급의 다른 모델에 비해 최대 5배의 처리량을 기록했다고 한다. OCR, 표, 그래프, PDF와 웹 페이지 이해에 강점이 있으며, 텍스트와 시각 정보를 하나의 모델로 처리하기 때문에 에이전트가 작업을 별도 시스템에 분배할 필요가 없다고 설명했다.

엣지용 Bolt 74B-A9B 24GB는 네이티브 2비트 양자화를 통해 24GB 메모리에 들어가며, NVIDIA RTX와 DGX Spark에서 다른 앱과 함께 실행할 수 있다. 웹 조사부터 글쓰기, 코드 디버깅까지 로컬 에이전트에 맡기는 용도를 상정하고 있으며, PinchBench에서는 같은 등급의 오픈 모델 중 1위, BrowseComp에서는 2위를 기록했다고 한다. Bolt E4B 4GB는 GeForce RTX, Jetson, DGX Spark에서 음성 비서, 대화형 캐릭터, 임베디드 인터페이스를 염두에 두고 설계되었다.

Super VL을 자사 데이터로 추가 학습하는 조직도 많다. Scale AI는 Skydance의 여신 금융 에이전트와 EY의 M&A 실사 에이전트에 맞게 조정했고, Mercor는 APEX-SWE에서 코딩 에이전트를 위해 추가 학습을 진행했다. Atlassian, CrowdStrike, Dassault Systèmes, Perplexity, Salesforce 등도 통합과 커스터마이징을 추진하고 있다.

모델은 오픈 웨이트, 오픈 데이터셋, 학습 레시피와 함께 공개된다. 약 26조 토큰으로 사전 학습과 지속 사전 학습을 진행했으며, 약 380만 개 샘플과 강화 학습으로 후속 학습을 했다고 한다. 데이터셋은 Hugging Face, 강화 학습 환경은 NeMo Gym을 통해 제공된다. Super VL은 Hugging Face, Open Router, ModelScope, NVIDIA NIM에서 이용할 수 있고, Bolt 74B-A9B는 Hugging Face에서 입수할 수 있으며 llama.cpp, Ollama, LM Studio, Unsloth, vLLM 등을 지원한다. NVIDIA Dynamo에서는 최대 8배 많은 사용자를 85% 낮은 지연 시간으로 처리할 수 있다고 한다.