AWS Machine Learning Blog· Alex Nails·· 4시간 전AI 점수37
SGLang-Neuron으로 AWS Trainium에 프런티어 AI 모델 배포
Deploy frontier AI models on AWS Trainium with SGLang-Neuron
AI 요약
SGLang-Neuron이 일반 공개되어 AWS Deep Learning Container에서 사용할 수 있게 되었다. RadixArk가 Annapurna Labs와 협력해 제공하는 것으로, AWS Trainium에서 모델 서빙과 강화학습(RL)의 롤아웃 생성을 기존 SGLang 인터페이스 그대로 실행할 수 있다. PD disaggregation도 지원하며, 프리필 서버가 계산한 KV 캐시를 EFA를 거쳐 NIXL로 디코드 서버에 전송한다.
출처: AWS Machine Learning Blog · aws.amazon.com