AWS Machine Learning Blog· Joseph Cottingham·· 13일 전AI 점수38
TTS용 Amazon SageMaker AI Auto Scaling 목표값을 추측으로 정하지 않는다
Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
AI 요약
Amazon SageMaker AI에서 TTS 엔드포인트의 Auto Scaling 목표값을 추측이 아닌 실측으로 정하는 방법을 Kokoro-82M 커스텀 컨테이너 배포를 예로 보여준다. SLO를 충족하는 인스턴스당 최대 동시 실행 수 Q_max와 스케일아웃 소요 시간 T_total을 실제 환경에서 측정하고, 이를 바탕으로 스케일아웃·스케일인 임계값과 쿨다운을 산출한다. 스케일링 지표로는 SageMaker AI가 공개하는 ConcurrentRequestsPerModel을 사용한다.
출처: AWS Machine Learning Blog · aws.amazon.com