Meta, 오픈 웨이트 멀티모달 MoE 모델 「Muse Spark Open」 공개
Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta
Meta가 오픈 웨이트 모델 「Muse Spark Open」을 공개했다. 총 파라미터는 약 816B이며, 토큰당 활성 파라미터는 약 42B인 MoE 구조다. 텍스트, 이미지, 음성, 동영상을 입력으로 받을 수 있고, 컨텍스트 윈도우는 최대 1M 토큰이다. Hugging Face 블로그에서는 transformers, llama.cpp, SGLang, vLLM, MLX에서의 실행 방법과 TRL을 활용한 파인튜닝, 데모를 소개하고 있다.
Muse Spark Open은 Muse 시리즈의 풀사이즈 모델로, 출력은 텍스트만 가능하다. Meta는 다중 파일 리팩터링이나 긴 디버깅 같은 실제 개발 워크플로를 가정해 코드베이스 독해, 코드 작성과 디버깅, 도구 호출을 중점적으로 학습시켰다고 설명했다. 체크포인트는 BF16과 NVFP4 두 가지 형식으로 제공되며, BF16은 약 1.5TB, NVFP4는 NVIDIA Blackwell GPU용 4비트 정밀도다.
아키텍처는 62개 레이어, 은닉 차원 8192이며, 각 MoE 레이어에는 256개의 엑스퍼트가 있고 토큰마다 8개가 선택된다. 엑스퍼트가 전체 파라미터의 약 97%를 차지한다. 모든 엑스퍼트를 메모리에 올려 두어야 하므로 필요한 메모리는 816B 모델 수준이지만, 속도는 42B 모델 수준이다. 이미지와 동영상은 1.8B 파라미터의 인지 인코더로, 음성은 80ms마다 1토큰(초당 12.5토큰)을 출력하는 음성 인코더로 처리한다. 1M 토큰의 전체 컨텍스트에서 KV 캐시는 BF16 기준 약 266GB가 된다.
실행 환경은 여러 가지다. transformers에서는 BF16을 H200 8기를 갖춘 4노드(TP=32)에서, NVFP4는 단일 B200 노드에서 실행한다. llama.cpp에서는 2비트 양자화가 Mac M3 Ultra(512GB)에서 초당 18토큰을 기록했고, MLX의 oQ3e 양자화는 같은 기기에서 프리필 약 225 tok/s, 생성 21 tok/s를 기록했다. SGLang과 vLLM은 NVFP4용 설정 예시를 제시하며, vLLM 예시는 128K 토큰 컨텍스트를 기준으로 한다. 추론을 완전히 끌 수는 없으며, 가벼운 작업에서는 reasoning effort를 'low'로 설정해 토큰 소비를 줄일 수 있다. Inference Endpoints에도 검증된 SGLang 레시피가 있다.
파인튜닝은 TRL의 SFTTrainer를 사용해 H100 8노드 × 8기, 총 64 GPU에서 어텐션 레이어에 LoRA를 적용하고 엑스퍼트는 고정했다. 500스텝에 약 2시간이 걸렸으며, 평균 토큰 정확도는 72%에서 84%로, 손실은 1.26에서 0.57로 개선됐다. 데모는 세 가지다. llama.cpp와 Pi 코딩 에이전트로 Three.js 3D 에셋을 생성하는 예시, OpenEnv와 Hugging Face Sandbox를 이용해 스크린샷만으로 동작하는 브라우저 조작 에이전트, 음성 입력으로 Amazon 상품을 검색하는 브라우저 에이전트다.
총 파라미터 약 816B, 활성 파라미터 약 42B라는 구성과 각 추론 환경에서의 실행 방법 및 필요한 메모리 용량이 정리되어 있어, 도입 규모를 가늠하는 데 참고가 된다.
출처: Hugging Face Blog · huggingface.co