급상승 이슈진행 중
SageMaker, MIG 기반 GPU 분할 지원
보도 1건출처 1곳3시간 전 업데이트
지금까지의 흐름
보도 발췌
Amazon SageMaker Inference가 NVIDIA Multi-Instance GPU(MIG)를 이용한 GPU 파티셔닝을 지원하게 되었다. 물리 GPU 1기를 연산 자원과 메모리가 고정된 독립 파티션으로 나누어, 파티션마다 서로 다른 모델을 배치할 수 있다. 파티션 수는 가속기에 따라 달라지며 최대 7개다. 대상은 inference components를 사용하는 엔드포인트이며, 싱글 모델 엔드포인트, 서버리스 엔드포인트, 이기종 인스턴스 풀은 분할할 수 없다.
AWS Machine Learning Blog 발췌
보도 타임라인
보도를 따라가며 이슈의 여러 측면을 살펴보세요.
11월 7일
- AWS Machine Learning BlogAmazon SageMaker Inference, Multi-Instance GPU 지원으로 GPU 활용률 향상
Amazon SageMaker Inference가 NVIDIA Multi-Instance GPU(MIG)를 이용한 GPU 파티셔닝을 지원하게 되었다. 물리 GPU 1기를 연산 자원과 메모리가 고정된 독립 파티션으로 나누어, 파티션마다 서로 다른 모델을 배치할 수 있다. 파티션 수는 가속기에 따라 달라지며 최대 7개다. 대상은 inference components를 사용하는 엔드포인트이며, 싱글 모델 엔드포인트, 서버리스 엔드포인트, 이기종 인스턴스 풀은 분할할 수 없다.
이 이슈의 화제도 추이
추이를 그릴 만큼 연속 관측 데이터가 아직 부족합니다.