본문 바로가기
급상승 이슈진행 중

AWS Trainium에서 SGLang-Neuron 일반 공개

보도 1건출처 1곳4시간 전 업데이트

지금까지의 흐름

보도 발췌

SGLang-Neuron이 일반 공개되어 AWS Deep Learning Container에서 사용할 수 있게 되었다. RadixArk가 Annapurna Labs와 협력해 제공하는 것으로, AWS Trainium에서 모델 서빙과 강화학습(RL)의 롤아웃 생성을 기존 SGLang 인터페이스 그대로 실행할 수 있다. PD disaggregation도 지원하며, 프리필 서버가 계산한 KV 캐시를 EFA를 거쳐 NIXL로 디코드 서버에 전송한다.

AWS Machine Learning Blog 발췌

보도 타임라인

보도를 따라가며 이슈의 여러 측면을 살펴보세요.

11월 13일
  1. AWS Machine Learning Blog
    SGLang-Neuron으로 AWS Trainium에 프런티어 AI 모델 배포

    SGLang-Neuron이 일반 공개되어 AWS Deep Learning Container에서 사용할 수 있게 되었다. RadixArk가 Annapurna Labs와 협력해 제공하는 것으로, AWS Trainium에서 모델 서빙과 강화학습(RL)의 롤아웃 생성을 기존 SGLang 인터페이스 그대로 실행할 수 있다. PD disaggregation도 지원하며, 프리필 서버가 계산한 KV 캐시를 EFA를 거쳐 NIXL로 디코드 서버에 전송한다.

이 이슈의 화제도 추이

현재 화제도 9·비교 가능한 최고치 10 (11월 13일 08:00)·24시간 비교 가능 변화 –

02.557.51011월13일11월13일11월13일11월13일

추이는 연속으로 빠짐없이 관측한 계정만 비교하므로 현재 화제도 수치보다 범위가 좁을 수 있습니다. 포인터를 움직이거나 차트를 누르면 시간대별 화제도를 볼 수 있고, 키보드에서는 왼쪽·오른쪽 방향키를 쓰면 됩니다.