Mistral AI, 통합형 오픈 모델 「Mistral Small 4」 발표
Introducing Mistral Small 4
Mistral AI가 Mistral Small 4를 발표했다. Magistral의 추론, Pixtral의 멀티모달, Devstral의 에이전트형 코딩을 하나의 모델로 통합했으며, Apache 2.0 라이선스로 공개했다. 총 파라미터 119B의 MoE 구조로 256k 컨텍스트 윈도우를 지원하고, Mistral Small 3와 비교해 지연 시간 중시 설정에서 엔드 투 엔드 완료 시간을 40% 줄였으며, 처리량 중시 설정에서는 초당 요청 수를 3배로 늘렸다.
Mistral Small 4는 Mixture of Experts(MoE) 구조로, 128개 익스퍼트 중 토큰마다 4개가 활성화된다. 총 파라미터는 119B이며, 토큰당 활성 파라미터는 6B(임베딩 및 출력 레이어를 포함하면 8B)이다. 텍스트와 이미지 입력을 지원하며, 컨텍스트 윈도우는 256k이다.
새로 추가된 reasoning_effort 파라미터로 추론 깊이를 전환할 수 있다. `reasoning_effort="none"`은 Mistral Small 3.2와 같은 채팅 형식의 빠른 응답을, `reasoning_effort="high"`는 기존 Magistral과 비슷한 분량으로 단계적으로 추론하는 설정이다. 이를 통해 빠른 instruct 모델, 추론 엔진, 멀티모달 어시스턴트를 따로 사용할 필요가 없어진다고 밝혔다.
성능 면에서는 출력의 짧음을 강조했다. 추론을 활성화했을 때 세 가지 벤치마크 모두에서 GPT-OSS 120B와 같거나 그 이상의 점수를 기록하면서도 출력은 훨씬 짧다. AA LCR에서는 1.6K 문자로 0.72점을 기록했으며, 같은 수준의 성능에 3.5~4배 많은 출력(5.8~6.1K)이 필요한 Qwen 모델과 대비했다. LiveCodeBench에서는 GPT-OSS 120B를 앞서며 출력은 20% 적다. 첨부된 사내 비교 차트에서는 GPQA Diamond, MMLU Pro, MMMU-Pro 등에서 크기가 다른 자사 모델과의 비교도 보여준다.
운영 요건은 최소 구성이 4x NVIDIA HGX H100, 2x NVIDIA HGX H200 또는 1x NVIDIA DGX B200이며, 권장 구성은 그 두 배 규모이다. vLLM, llama.cpp, SGLang, Transformers 등에서 사용할 수 있으며, NVIDIA와의 협력으로 vLLM과 SGLang의 추론이 최적화되었다. Mistral AI는 NVIDIA Nemotron Coalition의 창립 멤버로도 참여했다.
제공처는 Mistral API, AI Studio, Hugging Face 리포지토리이다. build.nvidia.com에서 무료로 프로토타이핑할 수 있으며, 프로덕션용으로는 NVIDIA NIM으로 day-0부터 이용 가능하고, NVIDIA NeMo를 통한 파인튜닝도 지원한다. 예상 용도는 개발자를 위한 코딩 자동화, 기업을 위한 문서 이해 및 멀티모달 분석, 연구자를 위한 수학 및 복잡한 추론이다.
추론, 멀티모달, 에이전트형 코딩을 하나의 모델로 통합한 구성과 출력 길이를 줄인 비교 결과가 제시되어 있어, 모델 선택 기준을 정리하기 좋다.
출처: Mistral AI News · mistral.ai