Google DeepMind, 수어에서 텍스트로 번역하는 모델 SL2T 발표… Pixel 11의 Gboard 등에 탑재
Putting sign language AI into users’ hands
Google DeepMind는 50개 이상의 수어를 학습한 수어-텍스트 번역 모델 SL2T를 발표했다. Pixel 11의 Gboard와 Live Transcribe에서 ASL에서 영어로의 수어-텍스트 입력을 지원한다. FLEURS-ASL(sd-test)에서 제로샷 70 BLEURT를 기록했으며, 기존 보고치를 크게 웃돈다고 설명하고 있다.
SL2T는 10만 시간 이상, 50개 이상의 수어 데이터로 학습한 다국어 모델이며, 데이터의 약 4분의 1이 ASL(미국 수어)이다. 여러 언어와 방언, 숙련도를 함께 학습시켜 공통 구조를 익혔으며, 실험에서는 단일 언어 모델을 능가했다고 한다. Gboard에서는 수어로 검색하거나 메시지를 작성하고 Gemini에 지시할 수 있으며, Live Transcribe에서는 대화 중에 수어로 답할 수 있다. 추가 요금은 없으며, 우선 Pixel 11에서 제공하고 지원 기기와 언어는 앞으로 늘릴 예정이다.
설계상의 특징은 프라이버시 배려와 번역 방식에 있다. 기기에서 MediaPipe Holistic이 신체 각 지점의 좌표를 추적하고 서버에는 좌표열만 보내기 때문에 원본 영상은 바로 폐기할 수 있다. 또한 기존 연구에서 널리 쓰여 온 글로스(중간 주석)를 사용하지 않고 좌표열에서 텍스트로 직접 번역한다. 글로스는 비수지 표지나 공간적 구조를 포착하기 어려우며, 직접 번역은 어휘 상한이 없어 품질이 데이터 양에 따라 향상된다고 설명한다.
실용 측면에서는 스트리밍 지연 최소화, 수어 이외의 입력에서 발생하는 환각 방지, 왼손잡이 서명자(약 10%)에 대한 공정성, 스마트폰을 한 손으로 든 채 하는 한 손 수어 대응에도 힘썼다. FLEURS-ASL 예시에서는 유창한 영어로 번역되었지만, 드문 수어, 빠른 지문자("prey"가 "grey"로 바뀜), 수동태 구문, 분류사 표현("claws" 누락), 문맥이 없는 시제("kicked off"가 "start"로 바뀜)에서는 여전히 오류가 남아 있다.
개발은 농인 커뮤니티와 함께 진행되었으며, 구상은 농인인 Google 직원 Sam Sepah가 맡았다. 책임 있는 전개를 위해 각국의 농인 단체와 전문가로 구성된 AI Sign Language Advisory Committee(AISLAC)를 설치했고, SL2T 1.0 출시에 맞춰 능력과 한계를 정리한 공동 영향 보고서를 공개했다. 앞으로는 대상 수어의 확대, 수어 생성, 첨단 AI 기능으로의 전개를 목표로 한다.
수어를 포즈 좌표만으로 번역하는 설계와 10만 시간이 넘는 학습 데이터, 알려진 오류 사례까지 구체적으로 제시되어 있어 수어 AI의 현황을 파악하기 좋다.
출처: Google DeepMind Blog · deepmind.google