Hugging Face, Mistral Large 4(Le Chonk) 소개… 약 1T 규모의 MoE 멀티모달 모델
Welcome Le Chonk: Mistral Large 4 on Hugging Face
Mistral Large 4(애칭 Le Chonk)가 Hugging Face에서 공개됐다. 텍스트와 이미지를 입력할 수 있는 다국어 MoE 모델로, 총 파라미터는 약 1T, 활성 파라미터는 49B, 컨텍스트 윈도우는 1M 토큰이다. Mistral Ecosystem Open-Weight License로 배포되며, transformers, vLLM, llama.cpp가 day-0부터 지원한다.
Mistral Large 4는 텍스트와 이미지를 입력받아 텍스트를 출력하는 MoE 모델이며, 공식적으로 FP8과 NVFP4 두 가지 형식이 제공된다. Unsloth와 llama.cpp 측 팀이 만든 GGUF도 있다. 라이선스는 MIT 파생이며, 모델 서비스 제공에는 제한이 있다. 사이버 보안, 코딩 에이전트, 멀티모달에 강하다고 설명되어 있다.
구조는 72개 층의 텍스트 디코더이며, MLA와 DeepSeek Sparse Attention의 인덱서로 KV를 압축하면서 쿼리마다 최대 2,048개의 키 위치를 선택한다. 첫 층은 밀집 피드포워드이고, 나머지 71개 층의 MoE에서는 128개 전문가 중 4개를 고르며, 공유 전문가 1개와 합쳐 토큰당 5개 전문가가 동작한다. 비전 쪽은 1.6B 규모의 Pixtral 인코더다.
평가에서는 Artificial Analysis Cyber Index의 취약점 재현 및 패치 적용에서 82%를 기록했다. Mistral은 여러 폐쇄형 최첨단 모델이 거부 응답으로 거의 0점을 받았다고 보고했다. Cybench에서는 40개 과제 중 93%, Lakera의 B3에서는 공격 저항률 93.3%를 기록했다. 코딩에서는 DeepSWE v1.1 61.7%, Terminal-Bench 4 28.3%를 보였으며, 10월 29일 기준 Artificial Analysis Intelligence Index에서 오픈 웨이트 모델 5위로 알려져 있다.
실행 측면에서 transformers는 추론 강도를 low, medium, high 중에서 선택할 수 있으며 끌 수는 없다. vLLM에서 NVFP4 버전은 Blackwell GPU가 필요하다. llama.cpp의 2비트 양자화는 512GB Apple Silicon Ultra 한 대에서 동작했으며, M3 Ultra에서 생성 속도는 약 15 tok/s였다. TRL을 이용한 파인튜닝, 8기의 NVIDIA H200에서 구동하는 Inference Endpoints, Dell Enterprise Hub 배포 절차도 소개되어 있다.
아키텍처, 벤치마크, 각 추론 환경에서의 실행 절차와 실측값이 한 편의 기사에 정리되어 있어 도입 시 비교 자료로 활용하기 좋다.
출처: Hugging Face Blog · huggingface.co