NVIDIA, 프롬프트로 제어하는 다국어 음성 전사 모델 Nemotron 3.5 Transcribe와 Granary v2 공개

Nemotron 3.5 Transcribe는 40개 언어의 음성을 문자로 옮기며, 그중 31개 언어에서는 영어 번역도 지원한다. 화자 식별은 13개 언어에서 가능하며, 최대 8명까지 구분하고 최장 1시간 분량의 녹음을 처리할 수 있다. 자연어 지시로 출력 형식을 바꿀 수 있어, 화자 라벨이 붙은 전사문, 영어 번역, 회의 내용에 대한 질문 응답을 얻을 수 있다. 음성 Q&A는 영어로 학습되었다. 실시간 스트리밍이 아니라 녹음된 음성을 위한 모델이다.

평가에서는 Hugging Face Open ASR Leaderboard 영어 부문 평균 WER 5.33%, 7개 언어 다국어 부문 4.62%, 장문 부문 10.98%를 기록했다. Artificial Analysis의 AA-WER에서는 오픈 웨이트 모델 중 2.8%로 공동 1위이며, 전체 30B 파라미터 가운데 추론 시 실제로 활성화되는 것은 약 4B다. 화자 식별에서는 David AI의 21개 언어 diarization에서 DER 18.26%로 가장 낮았고, VoiceArena의 14개 시스템 비교에서도 cpWER 32.4%로 1위에 올랐다고 한다.

단일 NVIDIA GPU에서 동작하며, Jetson AGX Thor와 DGX Spark부터 Blackwell 데이터센터용 GPU까지 지원한다. RTX PRO 6000 Blackwell Server Edition과 NVFP4 조건에서는 100시간 분량의 음성을 3분 미만에 처리했다. vLLM으로 서빙할 수 있고, NeMo-Speech.cpp로 로컬 실행도 가능하다. Baseten, DeepInfra, Simplismart의 호스팅 엔드포인트도 이용할 수 있다.

Granary v2는 NeMo Curator로 구축한 데이터 정비 파이프라인과 공개 매니페스트다. 매니페스트는 48개 언어, 16개 소스 코퍼스, 463,062시간을 대상으로 하며, Granary v1의 25개 언어에서 확대되었다. 같은 발화에 대해 정규화된 문자 그대로의 형식과 역텍스트 정규화 형식 두 가지를 제공하며, 자막, 번역, 문맥 ASR용 어휘 등도 생성한다. 음원은 각 코퍼스의 라이선스에 따라 별도로 확보해야 한다.

의료 분야 사례에서는 Eka Care의 인도 의료 음성 벤치마크를 사용했다. 프롬프트를 개선하자 WER은 30.8%에서 23.8%로 내려갔고, 파인튜닝으로는 11.8%가 되었다. 화자 단위로 나눈 보류 데이터에서는 최고 프롬프트의 22.44%에서 12.17%로 45.8% 줄었다. 합성 음성 약 153시간 등을 사용했으며, NVIDIA GB300 한 대로 약 14 GPU 시간에 완료했다. LibriSpeech test-clean에서는 WER이 1.54%에서 1.69%로 소폭 올랐고, 브랜드명 약제에서는 의료 특화 모델이 우위에 있다고 한다.