급상승 이슈진행 중
NVIDIA, 풀스택 코디자인으로 AI 메모리 과제에 대응하는 방법
보도 1건출처 1곳3시간 전 업데이트
지금까지의 흐름
보도 발췌
NVIDIA는 GPU, CPU, 네트워킹, 스토리지, 소프트웨어를 하나로 설계하는 풀스택 코디자인을 통해 AI 팩토리의 메모리 압력에 대응한다고 밝혔다. Blackwell Ultra에서 Vera Rubin으로 넘어가면서 GPU당 HBM 용량은 약 3% 증가에 그쳤지만, SemiAnalysis AgentX에서 측정한 에이전트형 처리량 대비 달러 효율은 최대 30배 향상됐다고 한다. NVFP4로 모델 가중치와 KV 캐시를 줄이고, NVIDIA Dynamo로 비활성 컨텍스트를 NVIDIA CMX로 옮겨 두는 방식을 결합한다.
NVIDIA Blog 발췌
보도 타임라인
보도를 따라가며 이슈의 여러 측면을 살펴보세요.
11월 6일
- NVIDIA BlogNVIDIA, 풀스택 코디자인으로 AI 메모리 과제에 대응하는 방법
NVIDIA는 GPU, CPU, 네트워킹, 스토리지, 소프트웨어를 하나로 설계하는 풀스택 코디자인을 통해 AI 팩토리의 메모리 압력에 대응한다고 밝혔다. Blackwell Ultra에서 Vera Rubin으로 넘어가면서 GPU당 HBM 용량은 약 3% 증가에 그쳤지만, SemiAnalysis AgentX에서 측정한 에이전트형 처리량 대비 달러 효율은 최대 30배 향상됐다고 한다. NVFP4로 모델 가중치와 KV 캐시를 줄이고, NVIDIA Dynamo로 비활성 컨텍스트를 NVIDIA CMX로 옮겨 두는 방식을 결합한다.
이 이슈의 화제도 추이
추이를 그릴 만큼 연속 관측 데이터가 아직 부족합니다.