Hugging Face、음성 인식 벤치마크에 대한 과적합을 측정하는 3가지 테스트 제안

평가 대상은 널리 쓰이는 오픈소스 ASR 모델 11개이며, VoxPopuli English와 LibriSpeech(clean, other)를 사용했다. 첫 번째 합의 불일치 프로브에서는 음소 오류율(PER)이 낮은 모델 그룹이 전원 일치로 참조와 어긋나는 부분을 추출했고, 일부는 사람의 주석으로 검증했다. 분석한 VoxPopuli 테스트 클립의 40%에 참조 오류의 가능성이 있었으며, 참조 단어 전체의 약 3%에 영향을 미쳤다. 벤치마크 최적화 동작을 보인 모델은 잘못된 참조를 18~30%의 비율로 재현했다. WER이 가장 낮은 모델일수록 이 재현율도 높았다.

구체적인 예로, 음성에는 「Thank you, Mr. President」라고 말하는데 참조에는 「Thank you」가 빠져 있는 클립이 있다. 11개 모델 중 6개 모델이 참조대로 「Thank you」를 누락했다. 같은 내용을 의회 녹음 이후 수집한 새로운 음성의 합성음으로 주면 누락하는 모델은 1개뿐이었고, 범용 TTS 음성에서는 11개 모델 모두 복원했다.

두 번째 마스크 개체 검색에서는 음성 속 숫자를 무음으로 처리해도 모델이 참조에 있는 숫자를 출력하는지 조사했다. LibriSpeech에서는 상위 모델 일부가 약 30~40%의 예에서 마스크된 숫자를 재현했다. 새로 수집한 데이터에서는 여러 모델의 효과가 약해졌다. 세 번째 표기 전환 프로브에서는 「Mr.」과 「Mister」처럼 발음은 같고 철자만 다른 표기를 데이터셋별 참조에 맞춰 고르는지 확인했다. 여러 모델이 50% 무작위 기준을 넘었고, 약 90%에 이르는 모델도 있었다.

결론적으로 일부 모델은 데이터셋과 관련된 음향적 단서를 감지해 전사 방침을 바꾸고 있는 것으로 보인다. 모델을 고를 때는 완전한 홀드아웃 평가 세트를 사용하고, 단일 공개 벤치마크의 WER만으로 판단하지 않는 것이 중요하다고 강조했다. 벤치마크 개발자에게는 시간이나 화자 등 메타데이터에 기반한 분할을 요청했다. 관련 스크립트와 정규화되지 않은 출력은 GitHub에서 공개되어 있다.