Google AI Edge Gallery에 온디바이스 음성 인식 및 음성 합성 추가, ML Kit·LiteRT로 이용 가능
On-Device Speech Recognition and Text-to-Speech in Google AI Edge Gallery
구글은 Google AI Edge Gallery에 온디바이스 음성 인식(ASR)과 음성 합성(TTS)을 추가했다. Gemini Nano, Gemma 4와 결합해 완전 오프라인에서도 음성 입출력이 작동한다. ML Kit는 100개 이상의 언어를 지원하며 10x real-time 속도로 문자 변환을 수행한다. TTS는 약 100 ms 만에 발화를 시작한다.
안드로이드용으로는 ML Kit의 GenAI Speech Recognition과 Text-to-Speech API가 제공된다. 모델은 OS에 통합되므로 APK 크기는 0 MB만 늘어난다. ASR은 100개 이상의 언어를 지원하며, FLEURS에서의 Word Error Rate는 8.0%에서 9.0%로, 3초 분량의 음성을 약 300 ms에 처리한다. 음성 번역의 대기 시간은 35%에서 44% 줄었다. TTS는 소수 스텝 확산 모델을 NPU로 가속해 약 100 ms 만에 발화를 시작하고, 24 kHz 음성을 최대 50x real-time으로 생성한다. 27초 분량의 단락을 약 500 ms에 합성하며, 기존 자기회귀형 TTS와 비교해 동작 시 소비 전력을 50% 이상 줄였다고 한다. 8종의 음성과 21개 로케일을 지원한다.
크로스 플랫폼용으로는 MediaPipe Tasks가 iOS, macOS, Windows, Linux, Web을 위한 ASR 및 TTS API를 제공한다. 음성 구간 검출(VAD)과 디코딩 등을 내부에서 처리하며, 스트리밍, 배치, 하이브리드 문자 변환 모드를 사용할 수 있다. 오픈 웨이트 모델로는 Parakeet-TDT 0.6B, PocketTTS 100M, Kokoro-82M, Phonon 31M이 .litertlm 형식 번들로 제공된다. Phonon 31M은 많은 기기에서 100 ms 미만의 Time-to-First-Audio를 기록한다고 한다. 기반은 LiteRT이며, Hugging Face LiteRT Community에도 다른 음성 모델이 공개되어 있다.
데모로는 카메라로 촬영한 사물에 대해 음성으로 질문하면 Gemini Nano 또는 Gemma 4가 답하고, 외국어 부분을 별도 태그로 출력해 모국어와 대상 언어의 음성을 문장 안에서 전환하는 XR Language Teacher가 공개되었다. AI Chat에도 음성 입력과 읽기 기능이 탑재되었으며, 문장 단위 하이라이트 재생, Markdown 제거, 코드와 표 건너뛰기 구현이 소개되었다. 앱은 Android와 iOS용으로 배포되며, 코드는 GitHub에서 공개되어 있다.
출처: Google Developers Blog · developers.googleblog.com