NVIDIA Blog· Amr Elmeleegy·· 4시간 전AI 점수42
NVIDIA, 풀스택 코디자인으로 AI 메모리 과제에 대응하는 방법
More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge
AI 요약
NVIDIA는 GPU, CPU, 네트워킹, 스토리지, 소프트웨어를 하나로 설계하는 풀스택 코디자인을 통해 AI 팩토리의 메모리 압력에 대응한다고 밝혔다. Blackwell Ultra에서 Vera Rubin으로 넘어가면서 GPU당 HBM 용량은 약 3% 증가에 그쳤지만, SemiAnalysis AgentX에서 측정한 에이전트형 처리량 대비 달러 효율은 최대 30배 향상됐다고 한다. NVFP4로 모델 가중치와 KV 캐시를 줄이고, NVIDIA Dynamo로 비활성 컨텍스트를 NVIDIA CMX로 옮겨 두는 방식을 결합한다.
출처: NVIDIA Blog · blogs.nvidia.com