ElevenLabs, 음성 인식 Scribe v3와 Live 버전 공개

Scribe v3는 녹음된 음성 파일용, Scribe v3 Live는 지연 시간이 낮아야 하는 실시간 용도용 모델이다. 두 모델 모두 ElevenAPI와 ElevenAgents 플랫폼에서 이용할 수 있다. 회사에 따르면 Scribe v3는 102개 언어에서 이전 세대보다 단어 오류를 약 25% 줄였으며, 독일어 정확도도 크게 향상됐다. 여러 명이 참여하는 대화에서의 화자 분리도 안정적으로 작동하며, Scribe v3 Live에서 실시간 화자 분리가 가능해진 것은 이번이 처음이라고 한다. Artificial Analysis의 독립 벤치마크에서 Scribe v3는 가장 정확도가 높은 모델 그룹에 포함됐고, Microsoft, Mistral, xAI, Google, OpenAI의 경쟁 모델을 앞섰다. 이보다 위에 있는 것은 Alibaba의 프리뷰 모델뿐이다. 반면 속도와 가격은 중간 수준이며, 벤치마크 기준 가격은 1,000분당 $3.33이다. Microsoft와 xAI의 모델은 수 배 빠르고, 오류율은 약간 높은 정도이며, 가격은 약 절반이라고 한다. 다만 이 평가는 녹음된 음성의 단어 오류만 측정한 것이어서, 화자 분리나 희귀 언어, Live의 실시간 동작은 반영되지 않았다. Scribe v3 Live는 고정된 무음 타이머에 의존하는 기존 음성 에이전트가 생각에 잠기거나 숫자를 천천히 읽는 발신자의 말을 중간에 끊어버리는 문제를 해결하기 위한 기능이라고 한다. 음성 신호와 함께 대화의 문맥을 분석해 화자가 실제로 말을 끝냈는지 판단한다. 개발자는 브랜드명이나 약품명 등 수천 개의 전문 용어를 미리 등록할 수 있고, 숫자와 날짜의 표기 형식을 자연어로 지정할 수 있다. 문장 안에서 언어가 바뀌는 경우에 대응하는 다국어 모드도 제공된다. 기업용으로는 EU 내에 분리된 서버와, 요청 후 데이터를 즉시 삭제하는 제로 리텐션 모드가 마련된다.

The Decoder 발췌