Mistral AI, 음성 인식 모델 Voxtral Transcribe 2 공개… Realtime은 Apache 2.0 오픈 웨이트
Voxtral transcribes at the speed of sound.
Mistral AI가 음성 인식 모델 패밀리 Voxtral Transcribe 2를 공개했다. 배치용 Voxtral Mini Transcribe V2와 지연 시간을 200ms 미만까지 설정할 수 있는 실시간용 Voxtral Realtime으로 구성된다. Realtime은 4B 파라미터 규모로 Apache 2.0 오픈 웨이트 형태이며 Hugging Face Hub에서 배포된다. Mini Transcribe V2의 API 요금은 1분당 $0.003이다.
Voxtral Mini Transcribe V2는 화자 분리(다이어라이제이션), 컨텍스트 바이어스, 단어 단위 타임스탬프를 갖추고 영어, 중국어, 일본어를 포함한 13개 언어를 지원한다. FLEURS에서 단어 오류율은 약 4%로, GPT-4o mini Transcribe, Gemini 2.5 Flash, Assembly Universal, Deepgram Nova보다 정확도가 높다고 설명한다. ElevenLabs의 Scribe v2와는 품질이 같으며 처리 속도는 약 3배 빠르고 비용은 5분의 1이라고 한다. 한 번의 요청으로 최대 3시간 분량의 음성을 처리할 수 있다.
화자 분리에서는 화자 레이블과 시작·종료 시각을 붙일 수 있지만, 발화가 겹치는 경우에는 보통 한 사람분만 받아 적는다. 컨텍스트 바이어스는 최대 100개의 단어 또는 구문을 지정할 수 있으며, 영어에 최적화되어 있고 다른 언어에 대해서는 실험적으로 지원한다.
Voxtral Realtime은 오프라인 모델을 분할 처리로 재활용하는 방식과 달리, 음성이 도착하는 대로 받아 적는 스트리밍 아키텍처를 채택했다. 지연 시간은 200ms 미만까지 설정할 수 있으며, 2.4초 지연에서는 Mini Transcribe V2와 같은 수준이고 480ms에서도 단어 오류율 차이가 1~2% 이내에 머문다고 밝혔다. 4B 파라미터 규모라 엣지 디바이스에서도 동작하며 개인정보 보호가 중요한 용도를 겨냥한다. API 요금은 1분당 $0.006이다.
Mistral Studio에는 음성 플레이그라운드도 추가되었다. 최대 10개 파일을 업로드할 수 있고, 화자 분리 전환, 타임스탬프 세분성 선택, 컨텍스트 바이어스 용어 추가가 가능하다. .mp3, .wav, .m4a, .flac, .ogg 형식을 지원하며 파일당 최대 1GB까지 처리한다. Le Chat에서도 체험할 수 있다. 회의 기록, 음성 에이전트, 콜센터, 방송 자막, 컴플라이언스 기록을 활용 사례로 꼽았으며, 온프레미스나 프라이빗 클라우드에서 GDPR·HIPAA에 대응한 운용도 가능하다고 밝혔다.
배치용과 실시간용 두 모델에 대해 지연 시간 설정, 요금, 지원 언어가 나란히 제시되어 용도별 선택을 판단하기 쉽다.
출처: Mistral AI News · mistral.ai