NVIDIA Blog· Amr Elmeleegy·· 3시간 전AI 점수38
NVIDIA Dynamo, 한국 주요 오픈 모델 4종 대상 실서비스 배포 레시피 공개
NVIDIA Dynamo Recipes Bring Korea’s Leading Open Models to Production
AI 요약
NVIDIA는 SK Telecom의 A.X K2, LG AI Research의 K-EXAONE 2.0, Upstage의 Solar Open 2, Motif Technologies의 Motif-3을 대상으로 Dynamo 최적화 배포 레시피를 공개했다. 레시피는 NVIDIA B200 GPU에 맞춰 최적화되었으며, 도입 직후 최대 2배의 성능을 끌어낼 수 있다고 한다. NVIDIA Dynamo는 데이터센터 규모의 멀티노드 환경에서 모델을 배포하기 위한 오픈소스 분산 추론 서빙 프레임워크다.
출처: NVIDIA Blog · blogs.nvidia.com