Hugging Face Daily Papers·· 13일 전AI 점수34
Falcon, 실환경 음향에 대응하는 효율적인 스트리밍형 오디오-비주얼 타깃 화자 추출
Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes
AI 요약
Falcon은 화자의 입술 영상을 활용해 잡음이나 겹쳐진 음성 속에서 목표 화자의 목소리를 추출하는 인과적(causal) 오디오-비주얼 타깃 화자 추출 모델이다. 인과형 AV-TFGridNet과 비교해 학습 가능한 파라미터는 91.9%, 연산량은 20.2배, GPU 추론 지연 시간은 11.1배 줄였다고 보고되었다. 또한 화자 수, 근거리 및 원거리 간섭, 잔향, 돌발적인 잡음을 포함하는 벤치마크 'RealSSA'도 제안되었으며, 코드와 모델 가중치 등은 프로젝트 페이지에서 공개되었다.
출처: Hugging Face Daily Papers · huggingface.co