TorchNeuron, AWS Trainium에서 HF 모델 실행이 그 어느 때보다 쉬워져

TorchNeuron은 AWS Trainium용 새로운 네이티브 백엔드를 제공하는 PyTorch 플러그인으로, Transformers, Diffusers, Kernels가 이를 네이티브로 지원한다. Transformers의 텍스트 생성에서는 사용 빈도가 높은 상위 100개 텍스트 생성 모델 아키텍처 중 89%가 별도 수정 없이 동작하며, 이는 Optimum Neuron v0.4.5의 46%에서 크게 확대된 수치다.