Mistral AI, 음성 이해 모델 Voxtral 공개… 24B·3B를 Apache 2.0으로 제공

Voxtral는 단순한 음성 문자 변환을 넘어 음성에 대한 직접 질의응답과 요약, 음성에서의 함수 호출을 지원한다. 컨텍스트 길이는 32k 토큰으로, 문자 변환은 최대 30분, 이해 작업은 최대 40분 분량의 음성을 처리할 수 있다. 언어 자동 감지를 지원하며, 영어, 스페인어, 프랑스어, 포르투갈어, 힌디어, 독일어, 네덜란드어, 이탈리아어 등에서 높은 성능을 보인다고 한다. 텍스트 능력은 기반 모델인 Mistral Small 3.1을 그대로 이어받아, Ministral이나 Mistral Small 3.1을 대체하는 용도로 쓸 수 있다.

벤치마크에서 Voxtral은 문자 변환 부문에서 모든 작업에 걸쳐 Whisper large-v3를 앞선다고 밝혔다. GPT-4o mini Transcribe 및 Gemini 2.5 Flash도 모든 작업에서 앞섰다고 한다. 영어 숏폼과 Mozilla Common Voice에서는 ElevenLabs Scribe를 넘어 SOTA를 달성했다고 한다. FLEURS에서는 Voxtral Small이 모든 작업에서 Whisper를 앞섰다. 음성 이해에서는 Voxtral Small이 GPT-4o-mini, Gemini 2.5 Flash와 경쟁하는 수준이며, 음성 번역에서는 SOTA로 평가된다. 가격 면에서는 Voxtral Mini Transcribe가 Whisper와, Voxtral Small이 ElevenLabs Scribe와 동등한 성능을 내면서도 두 제품 모두 절반 미만의 가격이라고 밝혔다.

입수 방법은 세 가지다. Hugging Face에서 24B 규모의 Voxtral과 3B 규모의 Voxtral Mini를 내려받을 수 있다. API는 한 번의 호출로 이용할 수 있으며, 문자 변환 요청은 Voxtral Mini Transcribe로 라우팅된다. Le Chat의 음성 모드에서도 체험할 수 있으며, 전체 사용자에게는 향후 수 주에 걸쳐 순차적으로 제공된다.

기업 고객을 위해서는 자사 인프라 내 프로덕션 규모의 비공개 배포, 법률·의료 등 특정 분야에 맞춘 파인튜닝, 화자 식별과 감정 감지 등을 포함한 기능 확장, 통합 지원을 제공한다. 앞으로는 화자 분리, 나이와 감정 등의 음성 마크업, 단어 단위 타임스탬프, 비음성 오디오 인식을 추가할 예정이다. Inworld와 공동으로 8월 6일(수요일)에 웨비나를 열어 음성 에이전트 구축 방법을 소개한다.