AWS, EKS 기반 분산 학습용 Ray Train DLC 공개
지금까지의 흐름
Ray Train DLC는 PyTorch, CUDA, NCCL, EFA 네트워크 스택, Ray를 하나로 묶어 검증된 컨테이너 이미지로, 빌드 없이 여러 노드에 걸친 분산 학습에 사용할 수 있다. 본 샘플에서는 이 공개 이미지를 그대로 사용해, g6.12xlarge 인스턴스 2대의 NVIDIA L4 GPU 8기로 Qwen2.5-1.5B를 PyTorch FSDP로 파인튜닝한다. 클러스터 구성은 RayCluster 매니페스트와 변수 파일만으로 정의되며, EFA는 Pod가 요청하면 노드 간 통신에 사용된다.
AWS Machine Learning Blog 발췌
보도 타임라인
보도를 따라가며 이슈의 여러 측면을 살펴보세요.
- AWS Machine Learning BlogRay Train DLC와 EFA로 EKS에서 분산 학습하는 방법
Ray Train DLC는 PyTorch, CUDA, NCCL, EFA 네트워크 스택, Ray를 하나로 묶어 검증된 컨테이너 이미지로, 빌드 없이 여러 노드에 걸친 분산 학습에 사용할 수 있다. 본 샘플에서는 이 공개 이미지를 그대로 사용해, g6.12xlarge 인스턴스 2대의 NVIDIA L4 GPU 8기로 Qwen2.5-1.5B를 PyTorch FSDP로 파인튜닝한다. 클러스터 구성은 RayCluster 매니페스트와 변수 파일만으로 정의되며, EFA는 Pod가 요청하면 노드 간 통신에 사용된다.
이 이슈의 화제도 추이
현재 화제도 3·비교 가능한 최고치 8 (10월 29일 11:00)·24시간 비교 가능 변화 -50%
추이는 연속으로 빠짐없이 관측한 계정만 비교하므로 현재 화제도 수치보다 범위가 좁을 수 있습니다. 포인터를 움직이거나 차트를 누르면 시간대별 화제도를 볼 수 있고, 키보드에서는 왼쪽·오른쪽 방향키를 쓰면 됩니다.