AWS Machine Learning Blog· Pierre Lienhart·· 17일 전AI 점수24
Deepgram, AWS Trainium에서 음성 AI 추론을 대규모로 최적화한 방법
How Deepgram optimized voice AI at scale with AWS Trainium
AI 요약
Deepgram은 음성 인식 모델 Nova-3를 AWS Trainium2로 옮겨, 오프라인 배치 처리에서 기존 컴퓨팅 기반보다 달러당 처리 음성량을 11~70% 늘렸다고 밝혔다. 최종 구성에서는 단일 Amazon EC2 trn2.3xlarge 인스턴스에서 8개의 모델 레플리카를 동작시킨다. 커널 튜닝에서는 FFN 레이어가 배치 크기 96에서 레퍼런스 커널 대비 지연 시간을 2.0배 줄였고, depthwise conv1d는 1.5배 빨라졌다.
출처: AWS Machine Learning Blog · aws.amazon.com