Google, 온디바이스 GPU 추론 엔진 ML Drift를 Apache 2.0으로 오픈소스화

ML Drift는 OpenGL ES, OpenCL, Metal, WebGPU 등 GPU API 간의 차이를 추상화해 Android, iOS, 웹, 데스크톱에서 같은 기반을 사용할 수 있게 한다. 기존 TensorFlow Lite GPU delegate의 후속으로, 앞으로 구형 delegate에는 새로운 기능이 추가되지 않는다. 기존 모델은 하위 호환성을 유지한 채 LiteRT ML Drift GPU 가속기로 이전할 수 있다고 한다.

구조적으로는 텐서의 논리적 표현과 GPU상의 물리적 배치를 분리하는 텐서 가상화를 통해 백엔드별로 셰이더를 유지할 필요를 없앴다. 커스텀 op 등록 API와 함께 코딩 에이전트용 SKILL.md 가이드도 제공된다. 구형 delegate가 4D 텐서에 고정되어 있었던 반면, 5D 텐서도 기본적으로 지원하며 YOLO 11n, MobileViT v2, Swin Transformer v2 등을 구동할 수 있다.

엣지용 대규모 언어 모델에서는 프리필과 디코드의 특성 차이에 따라 커널과 레이아웃을 전환한다. 디코드 시에는 합성곱에 맞춘 KV 캐시 레이아웃과 커널 내 활성화 양자화를 사용한다. Gemma 벤치마크에서는 다른 프레임워크보다 메모리 오버헤드가 최대 12% 작다고 한다. WebGPU 백엔드는 Dawn을 통해 Windows와 Linux에서도 동작하며, 데스크톱 버전은 프리뷰 단계다.

도입 사례로는 Chrome, YouTube Shorts, Photos, Meet이 꼽힌다. Chrome에서는 Gemini Nano를 사용하는 Prompt, Summarize, Writer API의 기반이 되고 있다. YouTube Shorts는 최대 40%의 지연 시간 감소를, Google Photos는 구형 delegate 대비 최대 2초의 속도 향상을 보고했다. Adobe Lightroom과 Photoshop의 AI 기능은 최대 30% 빨라졌으며, Snap의 Lens용 모델은 30%의 지연 시간 개선을 이뤘다. Arm, Intel, Qualcomm도 최적화에서 협력하고 있다.

Android에서는 독립형 LiteRT 패키지로 지금 바로 사용할 수 있으며, Google Play 서비스의 LiteRT에도 곧 대응할 예정이다. 앱 개발자는 LiteRT ML Drift 가속기를, GPU나 시스템 엔지니어는 C++ API를 직접 사용하게 된다. 소스 코드는 github.com/google-ai-edge/ml-drift에서 공개되어 있다.