Real World VoiceEQ, 음성 AI의 인간다움을 측정하는 벤치마크 공개

Real World VoiceEQ는 트랜스크립트로는 드러나지 않는 음성의 톤, 감정, 화자 동일성, 배경음 같은 음향 정보를 음성 시스템이 인식·생성·응답할 수 있는지 평가한다. 대상은 ASR, TTS, Speech-to-Speech(S2S), 음성 이해의 4개 영역이며, 40개 이상의 독점 및 오픈소스 모델을 15개 이상의 평가 축, 60개 이상의 지표로 비교한다. 평가 데이터는 100만 건이 넘는 사람의 평가로 만들어졌으며, 현행 버전에는 TTS 평가 78만 5000건과 STS 평가 4만 8000건이 포함된다. 모든 평가는 음성 네이티브 평가 플랫폼 Kairos에서 진행했다.

주요 발견 중 하나는 음성 AI의 발전이 전문화되고 있다는 점이다. 정확성, 감정 이해, 대화 지능, 표현력, 견고성 등 강점은 모델마다 다르며, 예약 번호를 정확하게 읽는 모델이 감정이 풍부한 음성에는 약한 사례도 있다. TTS 평가에서는 8개 능력군 모두에서 상위 5위에 든 구성이 없었다. 또한 음성 모델은 말하기에 비해 듣기가 약했고, S2S 모델은 평가한 카테고리 가운데 편차가 가장 컸다. 음성이 입력되는데도 어조, 쉼, 망설임, 강세, 음량 같은 주변 언어 정보를 활용하지 않고 단어에만 의존하는 시스템도 있었다고 한다.

기존 벤치마크는 실제 환경의 성능을 과대평가하기 쉽다는 점도 지적한다. 억양, 화자의 겹침, 감정, 배경 소음, 긴 대화에는 여전히 취약하며, 주요 모델 간 차이는 기존 지표가 보여주는 것보다 크다. 한 예로, 소음 속 음성의 단어 오류율은 음악 속 음성의 약 4배였다. 예비 조사에서는 공개 벤치마크에 최적화되었을 가능성이 있는 모델도 발견되었는데, 참조 트랜스크립트의 알려진 오류를 재현하거나 음성에 존재하지 않는 마스크 단어를 복원한 사례가 있었다.

음성 언어 모델(SLM)에 의한 자동 평가는 발음의 정확성처럼 정답이 명확한 과제에서는 훈련된 사람 평가자와의 일치도가 높았다. 반면 목소리가 역할에 어울리는지, 동일성을 유지하는지 같은 주관적 판단에서는 일치도가 떨어졌다. 저자들은 음향적 맥락, 지각, 사회적 해석에 의존하는 판단에서는 자동 평가자가 아직 사람 청취자를 대신할 수 없다고 밝혔다. 기술 보고서와 공개 리더보드가 마련되어 있으며, Hume은 맞춤형 평가도 제공하고 있다고 안내했다.