AWS Machine Learning Blog· Sunita Koppar·· 7일 전AI 점수31
Ray Train DLC와 EFA로 EKS에서 분산 학습하는 방법
Distributed training with Ray Train DLCs and EFA on EKS
AI 요약
Ray Train DLC는 PyTorch, CUDA, NCCL, EFA 네트워크 스택, Ray를 하나로 묶어 검증된 컨테이너 이미지로, 빌드 없이 여러 노드에 걸친 분산 학습에 사용할 수 있다. 본 샘플에서는 이 공개 이미지를 그대로 사용해, g6.12xlarge 인스턴스 2대의 NVIDIA L4 GPU 8기로 Qwen2.5-1.5B를 PyTorch FSDP로 파인튜닝한다. 클러스터 구성은 RayCluster 매니페스트와 변수 파일만으로 정의되며, EFA는 Pod가 요청하면 노드 간 통신에 사용된다.
출처: AWS Machine Learning Blog · aws.amazon.com