AWS Machine Learning Blog· Kevin Shabahang·· 15일 전AI 점수34
i14, 선형 어텐션 모델 Laplace 3B를 AWS Trainium2와 네이티브 PyTorch로 학습·추론
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 요약
i14는 선형 어텐션 모델 Laplace 3B를 AWS Trainium2에서 네이티브 PyTorch를 사용해 학습하고 서비스했다. 재귀 상태는 컨텍스트 길이와 관계없이 시퀀스당 29.5 MB로 고정된다. trn2.48xlarge 인스턴스 1대에서의 학습 처리량은 약 120,000 토큰/초였으며, 1,280개의 동시 시퀀스에서의 추론 출력은 11,544 토큰/초였다.
출처: AWS Machine Learning Blog · aws.amazon.com