HF Jobs에서 LoRA 기반 Async GRPO를 실행하는 구성, Storage Bucket과 프록시로 NCCL 없이 동기화

TRL v1.14의 AsyncGRPOTrainer는 LoRA 어댑터만 학습해 vLLM에 동기화할 수 있게 되었으며, 학습과 추론을 서로 다른 Hugging Face Jobs로 나누어 실행하는 구성을 보여준다. 랭크 1 어댑터는 크기가 수 MB에 불과해 1.5B 모델 전체(약 3GB)보다 훨씬 작으므로, Storage Bucket을 공유 파일 시스템으로 사용하면 NCCL 없이 동기화할 수 있다. 5회 실행 결과, 동일한 레시피로 500스텝을 학습하는 시간이 3시간 27분에서 53분으로 줄었다.