AWS Machine Learning Blog· Shantanu Tripathi·· 4시간 전AI 점수50
Amazon SageMaker Inference, Multi-Instance GPU 지원으로 GPU 활용률 향상
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 요약
Amazon SageMaker Inference가 NVIDIA Multi-Instance GPU(MIG)를 이용한 GPU 파티셔닝을 지원하게 되었다. 물리 GPU 1기를 연산 자원과 메모리가 고정된 독립 파티션으로 나누어, 파티션마다 서로 다른 모델을 배치할 수 있다. 파티션 수는 가속기에 따라 달라지며 최대 7개다. 대상은 inference components를 사용하는 엔드포인트이며, 싱글 모델 엔드포인트, 서버리스 엔드포인트, 이기종 인스턴스 풀은 분할할 수 없다.
출처: AWS Machine Learning Blog · aws.amazon.com