AWS, PyTorch 앱을 Trainium으로 옮길 수 있는 개발 도구 TorchNeuron 공개

TorchNeuron는 PyTorch를 기반으로 만들어져 PyTorch를 아는 개발자가 그대로 사용할 수 있다. AWS에 따르면 PyTorch로 작성된 AI 앱은 설정 한 줄만 바꾸면 Trainium에서 동작하며 코드를 다시 쓸 필요가 없다. AWS는 AI 앱의 약 85%가 PyTorch로 작성되어 있다고 밝혔다. PyTorch는 Facebook이 개발했으며 2022년부터 Linux Foundation 산하에 있다.

배경에는 NVIDIA가 CUDA를 통해 PyTorch와의 연동을 오랜 기간 다듬어 온 경위가 있다. 그 결과 NVIDIA 하드웨어는 이 툴킷에 기본적으로 포함된 상태다. AMD GPU나 Apple 칩으로도 설정 변경만으로 옮길 수 있는 사례가 있어 AWS가 처음 시도하는 것은 아니다. AWS는 Trainium으로의 이전에 더해 AWS 클라우드 전체를 쓸 수 있다는 점을 차별화 요소로 든다.

AWS Annapurna Labs의 Colin Brace는 같은 칩으로 학습과 추론을 모두 처리할 수 있고 클라우드 기반과 긴밀하게 통합되어 있어, 토큰 단가가 가장 싸지 않더라도 전체 비용은 낮아진다고 말했다. 사례로 AI 음성 앱 Deepgram을 들며, 네이티브 PyTorch로 Trainium에 옮긴 뒤 동등한 프로덕션 수준의 정확도에서 1달러당 처리하는 음성량이 70% 늘었다고 설명했다. 또한 CoreWeave, Nebius 등 NVIDIA와 연계된 neocloud보다 스타트업에 더 적합하다는 입장이다.

AWS는 PyTorch 본체에 특정 칩에 묶인 코드를 제거하는 변경을 제공하며, 프레임워크를 하드웨어에 덜 의존하도록 만든다는 목표를 내걸었다. 기사는 이것이 개발자의 선택지와 저렴한 선택지를 늘릴지, 아니면 설정의 번거로움만 늘릴지는 앞으로 지켜볼 필요가 있다고 전했다.