Microsoft AI, 스트리밍 전사 모델 MAI-Transcribe-2-Streaming과 음성 모델 MAI-Voice-2.1 발표

MAI-Transcribe-2-Streaming은 60개 언어의 저지연 실시간 전사를 지원하며, 언어를 자동으로 계속 감지하는 기능도 갖췄다. 음성을 받은 뒤 약 100ms 남짓 만에 첫 가설(partials)을 내놓고, 문맥이 쌓이면서 수정해 안정적인 전사를 확정한다. Artificial Analysis의 정확도와 지연 평가에서는 Pareto frontier 위에 위치한다고 한다. 사내 평가에서는 실시간 전사나 자막 같은 용도에서 가장 가까운 경쟁 제품보다 단어가 2배 빠르게 표시된다고 밝혔다. 연말까지 도입 가격은 음성 1시간당 0.54달러로 제공된다.

MAI-Voice-2.1은 회사에서 가장 강력한 다국어 음성 합성(TTS) 모델로, 23개 언어, 26개 로케일을 지원한다. 같은 목소리를 유지한 채 영어, 중국어(Mandarin), 독일어 등으로 전환해도 각 언어의 원어민 억양으로 말할 수 있다. 요금은 100만 자당 22달러다. MAI-Voice-2.1-Flash는 같은 언어와 크로스 링구얼 화자 기능을 지원하면서, 대량 처리와 지연에 민감한 용도에 맞게 조정되었다. 45초 분량의 음성을 생성할 수 있으며, 엔드투엔드 지연은 150ms, 모델 추론은 55% 빨라지고, 동급 모델보다 약 60% 저렴한 100만 자당 15달러로 제공된다.

두 음성 모델 모두 지원하는 모든 언어에서 몇 초 분량의 참조 음성만으로 보이스 클로닝이 가능하며, 악용을 막기 위한 동의 기반 가드레일을 내장하고 있다. MAI는 음성 에이전트를 듣기, 이해하기, 결정하기, 말하기의 순환으로 보고, 전사와 음성 합성 양 끝에서 시간을 아끼면 추론이나 도구 호출에 쓸 여유가 늘어난다고 설명한다. 예상 용도는 말이 끝나기 전에 움직이기 시작하는 고객 서비스, 언어를 자동 감지해 같은 목소리로 응답하는 다국어 어시스턴트, 튜터링이나 롤플레이 같은 학습 및 미디어 분야다. 두 모델을 결합한 실시간 에이전트 데모 Chatter가 MAI Playground에서 공개되어 있다.