NVIDIA, 오픈 음성 인식 모델 Nemotron 3.5 Transcribe 공개… 전사·번역·화자 식별 통합
Nvidia's open Nemotron 3.5 Transcribe combines transcription, translation, and speaker recognition
NVIDIA는 음성 받아쓰기, 번역, 화자 식별을 하나의 모델로 처리하는 오픈 음성 인식 모델 Nemotron 3.5 Transcribe를 공개했다. 40개 언어의 음성 받아쓰기를 지원하며, 31개 언어에서 영어로의 번역, 13개 언어에서 화자 식별이 가능하다. Hugging Face의 영어 Open ASR Leaderboard에서는 오픈 웨이트 모델 중 1위(평균 단어 오류율 5.33%)를 기록했으며, 약 844,000시간 분량의 학습 데이터셋 Granary v2도 함께 공개됐다.
모델은 총 파라미터 30B이며, 한 스텝당 활성화되는 파라미터는 약 4B로 단일 NVIDIA GPU에서 동작한다. 녹음은 최대 1시간, 화자는 최대 8명까지 처리할 수 있다. 텍스트 지시로 출력을 전환할 수 있어, 같은 회의 녹음에서 화자 라벨이 붙은 전사문, 영어 번역, 결정 사항 요약을 얻을 수 있다. 약품명 등 전문 용어를 힌트로 전달할 수도 있으며, 힌트는 녹음에 실제로 등장하는 경우에만 사용되도록 설계되었다. NVIDIA는 RTX PRO 6000 Blackwell Server Edition에서 NVFP4 정밀도로 100시간의 음성을 3분 미만에 처리한다고 설명했다.
벤치마크에서는 Artificial Analysis 비교에서 2.81%를 기록해, 최고 성능의 오픈 모델인 Mistral의 Voxtral Small(2.77%)에 근접했다. 다만 활성 파라미터는 약 6분의 1이다. 화자 식별에서 차이가 가장 컸다. VoiceArena에서는 14개 시스템 중 1위를 차지했으며, 누락 단어율은 8.32%(중앙값은 약 31%)였다. David AI의 21개 언어 벤치마크에서도 가장 낮은 오류율을 기록해, NVIDIA의 전용 모델을 약간 앞질렀다.
Granary v2는 48개 언어, 약 844,000시간으로, 25개 언어, 약 643,000시간이었던 이전 버전보다 확장되었다. 각 녹음은 필러와 숫자의 철자를 그대로 남긴 축어본과 정돈된 버전 등 여러 전사 스타일로 제공된다. 구축 도구도 함께 공개된다. 인도의 의사와 의대생 녹음으로 한 시험에서는 더 정교한 프롬프트를 사용해 오류율이 30.8%에서 23.8%로 낮아졌고, 파인튜닝 후에는 11.8%가 되었다. 단일 GB300으로 약 14 GPU 시간이 소요되었다. 반면 일반 영어 음성에서는 오류율이 약간 올라갔으며, 의료 모델은 브랜드 약품명에서 우위를 유지했다.
제약도 있다. 기능은 언어에 따라 다르며, 음성 질의응답은 영어로만 학습되었다. 녹음 음성 전용이며 실시간 처리는 지원하지 않는다. NVIDIA는 고유명사, 화자 전환, 답변 추출에 대한 검사를 권장한다. 모델과 데이터셋은 Hugging Face에서 공개되었으며 데모도 마련되어 있다. 9월에 공개된 화자 식별 전용 모델 Nemotron 3 Diarization은 전사에 별도 모델이 필요했으나, 이번에는 두 기능이 하나로 통합되었다.
출처: The Decoder · the-decoder.com