Mistral, 4B 파라미터 음성 합성 모델 Voxtral TTS 공개

Voxtral TTS는 영어, 프랑스어, 독일어, 스페인어, 네덜란드어, 포르투갈어, 이탈리아어, 힌디어, 아랍어 등 9개 언어를 지원한다. 3초 정도의 참조 음성으로 목소리를 적응시킬 수 있으며, 화자의 억양과 높낮이, 말을 더듬는 습관까지 포착한다고 한다. 명시적으로 학습하지 않은 제로샷 다국어 음성 적응도 가능하다. 프랑스어 음성 프롬프트에 영어 텍스트를 입력하면 프랑스어 억양이 섞인 영어가 생성된다. 이 특성은 캐스케이드형 음성 번역 시스템에 활용할 수 있다고 설명되었다.

평가는 원어민을 대상으로 한 사람 간 비교로 진행되었다. 9개 언어 각각에서 두 가지 목소리를 사용했고, 3명의 어노테이터가 자연스러움, 억양 일치도, 원본 음성과의 음향적 유사도를 나란히 비교했다. 그래프에서 평균 청취자 선호도는 Voxtral이 ElevenLabs v2.5 Flash를 표준 음성에서 58.3%, 목소리 커스터마이즈에서 68.4%로 앞선 것으로 나타났다. 첫 오디오 출력까지의 시간(Time-to-First-Audio)은 비슷한 수준이며, ElevenLabs v3와는 품질이 동등하고 감정 제어도 지원한다고 한다.

아키텍처는 Ministral 3B를 기반으로 한 Transformer 기반 자기회귀 및 플로우 매칭 모델이다. 3.4B 디코더, 390M 플로우 매칭 음향 Transformer, 300M 신경망 음성 코덱으로 구성된다. 5~25초의 음성 프롬프트와 텍스트를 입력받아 프레임마다 시맨틱 토큰을 예측하고, 16회의 함수 평가로 음향 잠재 표현을 생성한다. 모델 지연 시간은 10초, 500자 입력 기준 70ms이며, RTF는 약 9.7배다. 모델 단독으로는 최대 2분 분량의 음성을 생성하고, 그 이상은 API가 처리한다.

제공 형태는 API, Mistral Studio, Le Chat이며, 여러 참조 음성을 포함하는 모델은 CC BY NC 4.0 라이선스의 오픈 웨이트로 Hugging Face에도 공개되었다. Voxtral Transcribe와 결합한 음성 대 음성 구성이나 기존 음성 인식 및 LLM 스택에 통합하는 용도가 예상되며, 고객지원 음성 에이전트 등이 활용 사례로 제시되었다.