Meta, 로컬 에이전트 지원 멀티모달 모델 Muse Glimmer 공개… Apache 2.0으로 제공
Meta is back with Muse Glimmer: local, agentic, multimodal, and open source
Meta가 Muse에서 30B 파라미터로 증류한 멀티모달 모델 Muse Glimmer를 Apache 2.0 라이선스로 공개했다. 로컬 환경의 에이전트 용도를 염두에 둔 모델이며, transformers, llama.cpp, vLLM, Inference Endpoints가 day-0부터 지원한다. Hugging Face Hub에서 내려받을 수 있다.
Muse Glimmer는 2B 비전 인코더(Perception Encoder)와 28B 텍스트 디코더로 이루어진 dense 구성의 30B 모델이다. 텍스트 디코더는 3개 층의 슬라이딩 윈도우 어텐션(2,048토큰)과 1개 층의 풀 어텐션(NoPE)을 반복하는 구조로, 총 52개 층을 가진다. Gated Grouped-Query Attention을 적용해 KV 캐시 메모리를 16배 줄였다고 한다. DFlash 위에 구현한 추측 디코딩용 드래프터도 제공되며 선택적으로 사용할 수 있다. 추가 메모리를 쓰는 대신 생성 속도가 빨라지며, 코딩처럼 구조화된 출력에 적합하다고 한다.
벤치마크는 Gemma4-31B 및 Qwen3.6-27B와의 비교로 제시되었다. MCP Atlas 75.5, DeepSearch QA 74.6, SWE-Bench Pro 51.2, AIME 2026 94.7이다. 반면 OSWorld-Verified와 TerminalBench 2.1에서는 Qwen3.6-27B가 앞선다. 점수는 공개된 값 그대로 실려 있다.
활용 측면에서는 transformers의 `AutoModelForMultimodalLM`으로 텍스트, 이미지, 동영상 추론, 멀티모달 도구 호출, 객체 탐지를 실행할 수 있다. llama.cpp에서는 Meta가 보정한 양자화 버전을 배포하며, Unsloth도 최적화 버전을 공개할 예정이다. vLLM은 transformers 백엔드를 통해 지원한다. Inference Endpoints에는 프리셋이 마련되어 있어 OpenAI 호환 Chat Completions API를 사용할 수 있다.
TRL을 이용한 파인튜닝도 소개되었다. LoRA SFT는 80GB H100 1장, 풀 SFT는 H100 8장과 FSDP/ZeRO-3가 기준이다. MolmoWeb 데이터셋 일부로 구조화된 출력과 이미지를 학습시키는 예시와, OpenCode에서 AsyncGRPO를 시험한 예시가 함께 제공된다.
데모에서는 Hugging Face MCP와 AGENTS.md 프롬프트를 사용해 모델 스스로 양자화, Inference Endpoints 배포, H100용 추론 최적화를 수행하는 흐름이 보여졌다. OpenClaw 연결 설정과 Hub를 조사하는 리서치 에이전트 Gradio Space도 소개되었다.
30B 로컬 모델에 대해 아키텍처, 각 추론 기반에서의 사용법, 파인튜닝 요건이 한꺼번에 정리되어 있다.
출처: Hugging Face Blog · huggingface.co