Reflection, 501B 규모 오픈 모델 Beam을 Hugging Face에 공개
Welcome Beam: a 501B open model you can own, customize, and scale
신생 미국 연구소 Reflection이 첫 모델 Beam을 Apache 2.0 라이선스로 공개했다. 총 파라미터 501B, 토큰당 23B만 활성화되는 MoE 모델이며, 컨텍스트 윈도우는 1M 토큰이고 코딩과 에이전트 용도에 중점을 둔다. transformers, vLLM, SGLang이 Day-0부터 지원하며, BF16, FP8, NVFP4 세 종류의 체크포인트를 제공한다.
Beam은 텍스트 전용 MoE 모델로, 52개 층, 층당 256개 전문가, 토큰마다 8개 전문가를 사용한다. 전문가가 파라미터의 98.4%를 차지하므로 메모리는 501B 분량이 필요하지만 연산은 약 23B 분량으로 충분하다. 어텐션은 512토큰 슬라이딩 윈도우 층 43개와 전체 컨텍스트 층 9개로 구성되며, 1M 컨텍스트에서의 KV 캐시는 모든 층이 전역 어텐션일 때의 208 GiB에 비해 36.08 GiB로 알려져 있다. 추론 깊이는 low, medium(기본값), high, xhigh, max의 5단계이며, 전용 Rust 기반 하네스도 함께 제공된다.
체크포인트는 BF16이 약 1 TB이고, NVFP4는 약 280 GB까지 줄어든다. NVFP4는 Blackwell GPU용이며, Hopper와 Ampere용으로는 FP8이 준비되어 있다. 권장 구성으로는 B200 4기, 8x B200, B300 2기, 8x RTX Pro 6000 등이 제시되어 있다. Blackwell 환경이 없다면 Baseten, Fireworks, Together의 Inference Providers에서 시험해 볼 수 있다. Reflection이 제공한 벤치마크에서 BF16 기준 SWEBench Verified 81.6%, GPQA Diamond 90.6%, AIME 2026 97.7%, HLE(도구 미사용) 36.0%를 기록했으며, FP8과 NVFP4에서도 비슷한 수치가 나타났다.
추론에서는 transformers의 `pipeline`과 `parse_response`, vLLM과 SGLang의 서버 실행 명령이 소개되어 있다. DFlash2 기반 스펙큘레이티브 디코딩도 지원한다. 파인튜닝은 TRL의 SFTTrainer와 LoRA를 사용하며, B300 8기에서 초당 약 19,000 토큰을 처리했다. Multilingual-Thinking으로 1 에폭 학습한 결과, 지정 언어로 추론한 비율은 보류 프롬프트 16개 중 16개였고 베이스 모델은 3개였다. Miles를 이용한 GRPO는 전체 파라미터 업데이트에 96x H200, LoRA에 32x H200을 기준 구성으로 삼았다.
Hugging Face는 Beam을 활용한 프로젝트 중 우수한 작품에 Hub 크레딧 $10,000을 제공한다. 데모로는 Pi 코딩 하네스로 만든 네이티브 macOS 음성 입력 앱 BeamSpeak, ProgramBench를 이용한 멀티 에이전트 구성 비교, Qwen3.5-0.8B를 미세 조정한 장애 분류(인시던트 트리아지) 판단 모델이 있다. 판단 모델은 320개 테스트에서 세 항목 모두 정답인 비율이 76.25%였고, 프롬프트만 사용한 제로샷은 4.69%였으며, 지연 시간은 1,218.06 ms에서 102.58 ms로 줄었다. 5개 태스크의 바이브 평가에서는 low 추론량일 때 장문 컨텍스트 검색과 수학 답변에 결함이 나타난 사례도 함께 기록되어 있다.
아키텍처 구성, 정밀도별 체크포인트의 벤치마크, 필요한 GPU 구성, SFT와 GRPO 절차가 정리되어 있어 자체 운영 규모를 산정할 때 유용하다.
출처: Hugging Face Blog · huggingface.co