Open ASR Leaderboard, Voice Arena와 함께 Hindi 및 인도 영어용 Monsoon 평가 세트 추가
The Open ASR Leaderboard Adds Its First Global South Language
Hugging Face와 Voice Arena는 Open ASR Leaderboard에 Monsoon en-IN과 Monsoon hi-IN 두 개의 평가 세트를 추가했다. Hindi는 지금까지 유럽 언어만 있던 다국어 탭에서 처음으로 인도계 언어가 된다. 네 개의 분할에는 총 4,888명의 화자가 포함되며, 각 화자에게 12개의 속성이 기록되어 있다.
추가된 것은 인도 영어와 Hindi 평가 세트이며, 각각 공개 분할과 비공개 분할이 있다. 네 개의 분할은 화자가 겹치지 않으며, 총 4,888명이고 화자마다 12개의 속성을 가진다. 수집은 지역, 연령, 성별, 어휘, 단말기, 음향 환경, 발화 유형, 말하는 속도, 복수의 정답 표기라는 9개 축의 다양성을 노리고 설계되었다. 음성은 자신의 스마트폰으로 녹음된 자발적인 두 사람 대화에서 단일 화자 구간으로 잘라 낸 것이다.
특징은 화자 수의 많음에 있다. 상위 10명 화자의 합계 시간 비율은 2.8%에서 6.8%에 그치며, 절반 이상의 화자는 한 구간만 기여했다. 단말기는 315개에서 582개 기종에 이르며, 단일 기종이 2.1%를 넘는 하위 집합은 없다. 인도 영어 공개 세트는 428개 지구를 포괄하며 하나의 억양에 치우치지 않는다. 참조 전사는 사내 ASR이 만든 초안을 모국어 화자인 언어학자가 5단계에 걸쳐 수정하고 검증하는 방식으로 만들어졌으며, 숫자는 단어로 표기된다.
지역별 예로, 공개 인도 영어 세트에서 8개 모델의 WER은 4.81에서 4.99 사이에 머물러 전체로는 구별할 수 없다. 그러나 지역 구역별로 보면 whisper-large-v3-turbo의 변동 폭은 0.46포인트인 반면, Voxtral-Mini-3B-2507은 1.68이며, Central의 4.38과 East의 6.06으로 벌어졌다. 가장 어려운 구역도 모델마다 다르다.
Hindi는 철자 차이가 커서, 수용되는 표기를 나열한 격자를 참조에 붙이고 AI4Bharat이 제안한 OIWER로 채점한다. 단일 참조로 채점하면 모든 시스템의 오류율이 올라가며, 순위가 뒤바뀌는 조합도 있었다. 구현은 voi-oiwer로 공개되어 있다.
평가를 받으려면 Open ASR Leaderboard의 GitHub에 풀 리퀘스트를 제출하고 공개 세트의 결과를 보고한다. 비공개 세트는 Hugging Face 팀이 평가한다. 인도 영어는 Voice Arena Monsoon이라는 기본 열에 들어가 평균 WER에 반영된다. Hindi는 다국어 탭에 표시되며, 선택된 모든 언어에 대응하는 모델만 순위가 매겨진다.
출처: Hugging Face Blog · huggingface.co