Google, TorchTPU 오픈소스 공개… PyTorch 앱을 TPU로 이전 가능하게
Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers
구글이 PyTorch 앱을 TPU에서 실행할 수 있는 TorchTPU를 오픈소스로 공개했다. 설정만 바꾸면 기존 앱을 옮길 수 있고 코드를 다시 쓸 필요가 없다고 한다. 아마존도 전날 TorchNeuron을 공개해, 두 회사 모두 NVIDIA 의존도를 낮추려는 움직임을 이어가고 있다.
TorchTPU는 Google의 AI 칩인 Tensor Processing Units(TPU)에서 PyTorch 앱을 실행할 수 있도록 하는 프로젝트다. 기존 PyTorch 앱을 TPU, 나아가 Google Cloud로 옮기는 작업을 간단하게 만들어, 개발자는 간단한 설정 변경만으로 충분하며 앱을 다시 작성할 필요가 없다고 한다.
Google은 Meta, Hugging Face, vLLM을 개발하는 Inferact, SGLang을 개발하는 RadixArk 등과 직접 협력해 TorchTPU의 기능과 라이브러리가 이들 개발 도구와 원활하게 작동하도록 했다고 설명했다. 또한 앱의 TPU 및 Google Cloud 이전과 오류 수정을 지원하는 전용 도구인 TPU agent suite를 출시했으며, 스마트폰, 노트북, 임베디드 기기에서 AI를 구동하는 LiteRT도 PyTorch 앱과의 호환성을 높이는 업데이트를 했다.
배경으로, PyTorch는 2016년 Meta(당시 Facebook)가 개발한 오픈소스 툴킷으로, AI 앱의 85%에서 사용되고 있다는 견해도 있다. 당시부터 NVIDIA의 GPU가 AI 연구의 표준이었고, 기능 대부분이 GPU용으로 만들어졌다. 2022년 Meta는 PyTorch를 Linux Foundation으로 이관했다.
출처: TechCrunch AI · techcrunch.com