Meta는 오하이오주 New Albany의 기가와트급 슈퍼클러스터 「Prometheus」에서 Muse Wonder를 포함한 Muse 기반 모델을 학습했다고 밝혔다. Muse Wonder 학습에서 사전 학습의 goodput은 85% 이상, 강화 학습은 90% 이상이며, 평균 중단 간격은 약 47K GPU 시간이다. 수십만 개 규모의 GPU에서는 일부 호스트의 성능 저하가 전체 학습을 지연시키므로, 대규모에서의 내결함성을 중시하여 설계했다고 한다.
We trained our Muse foundational models, including Muse Wonder, at Prometheus, our gigawatt-scale supercluster in New Albany, Ohio.
Across a supercluster with hundreds of thousands of GPUs, even one underperforming host can slow an entire training run. We engineered Prometheus for resilience at scale, achieving 85%+ goodput on pretraining, 90%+ on reinforcement learning and ~47K GPU hours mean time between interruptions during Muse Wonder training.
Take a look at the tech powering Prometheus: https://go.meta.me/4yXXApZ
출처: AI at Meta · x.com