AWS Machine Learning Blog· Alex Iankoulski·· 6일 전AI 점수41
NVIDIA Nemotron 모델을 Amazon EKS 및 SageMaker HyperPod EKS에서 구동해 에이전트형 AI를 가속
Accelerate agentic AI with NVIDIA Nemotron models on Amazon EKS and SageMaker HyperPod EKS
AI 요약
NVIDIA Nemotron 3.5 Super VL을 Amazon EKS, EKS Auto Mode, SageMaker HyperPod EKS에 배포하는 방법을 설명한다. 총 파라미터 120B, 토큰당 12B가 활성화되는 MoE 모델로, 최대 1M 토큰의 컨텍스트를 지원하며 텍스트, 이미지, 문서, 동영상을 입력할 수 있다.
출처: AWS Machine Learning Blog · aws.amazon.com