Apple Machine Learning Research·· 21일 전AI 점수50
MLX와 RDMA로 Mac Studio에서 대규모 LLM을 로컬·분산 추론
Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
AI 요약
Apple Machine Learning Research는 MLX와 RDMA over Thunderbolt를 활용해 Mac Studio 4대로 816B 파라미터의 Muse Spark Open을 초당 36토큰 이상으로 생성할 수 있음을 보였다고 밝혔다. M5 Ultra는 M3 Ultra 대비 TTFT가 최대 4.6배, 토큰 생성 속도가 1.6배 빠르다. Qwen 3.8 27B와 Mistral Medium 3.5 128B는 512GB 메모리를 탑재한 Mac Studio 단독으로 동작한다.
출처: Apple Machine Learning Research · machinelearning.apple.com