AWS Machine Learning Blog· Ananth Raghavendra·· 24일 전AI 점수42
Ray LLM Deep Learning Containers로 멀티노드 추론 실행
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 요약
AWS는 Amazon EKS의 GPU 노드 2대에 대규모 언어 모델 하나를 배포하고, prefill과 decode를 서로 다른 노드로 나눠 OpenAI 호환 엔드포인트 뒤에서 구동하는 방법을 설명했다. prefill을 담당하는 노드가 긴 프롬프트를 처리하고 decode를 담당하는 노드가 토큰을 생성함으로써, 계산 부하가 큰 prefill이 토큰 생성을 지연시키는 것을 막는다.
출처: AWS Machine Learning Blog · aws.amazon.com