AWS Machine Learning Blog· Josh Longenecker·· 14일 전AI 점수38
AWS Trainium에서 torchtitan으로 Qwen3를 학습하는 방법
Train Qwen3 on AWS Trainium with torchtitan
AI 요약
단일 trn2.48xlarge 인스턴스에서 torchtitan을 사용해 Qwen3를 학습하는 세 가지 구성이 제시됐다. 첫째는 Transformers v5를 모델링 백엔드로 사용하는 방법, 둘째는 torchtitan 네이티브 Qwen3로 전환하는 방법, 셋째는 NKI MoE 커널과 override registry를 결합하는 방법이다. Qwen3-4B-Instruct-2507의 경우 공개 가중치에서 시작하면 1스텝 손실이 6.54, 랜덤 초기화에서는 12.43으로 보고됐다.
출처: AWS Machine Learning Blog · aws.amazon.com