MiniMax, M3.1 Flash 공개… 업무 벤치마크에서 DeepSeek과 Opus 5 앞서지만 환각률 93%
MiniMax's new M3.1 Flash beats DeepSeek and Opus 5 on a key business benchmark at lower cost — but with a high hallucination rate
MiniMax가 기업 워크플로, 코딩, 컴퓨터 조작용 신규 모델 M3.1 Flash를 공개했다. Artificial Analysis의 Intelligence Index에서 42점을 기록해 전작 M3의 29점보다 13포인트 올랐고, 작업당 평가 비용은 약 0.51달러에서 약 0.22달러로 낮아졌다. 반면 AA-Omniscience에서는 환각률이 93%로 높게 나타났다. API 가격은 입력 100만 토큰당 0.15달러, 출력 0.60달러다.
MiniMax에 따르면 M3.1 Flash는 전작보다 약 3배 빠르며, AI 에이전트 이용 비용 전체를 70% 줄인다. 자사 발표에 따르면 영업과 재무 등 업무를 다루는 Automation-Bench v1.0.6에서 62.2점을 기록해 DeepSeek V4.1 Flash-1017의 60.5점을 약간 웃돌았다. BankerToolBench에서는 76.2점으로 Claude Opus 5와 같은 수준이며, DeepSWE v1.1은 73.7%, OSWorld 2.0은 61.7, Agents' Last Exam은 29.6, CyberGym은 82.2라고 밝혔다. 다만 기사는 이 결과들이 실제 운영 도입 실적이 아니라 벤치마크 결과이며, 평가 조건이 달라 직접 비교에는 한계가 있다고 전한다.
Artificial Analysis 평가에서 Intelligence Index는 최대 추론 설정에서 42점이었다. GLM-5.3 Flash는 42점에 작업당 약 0.28달러, DeepSeek V4.1 Flash-1017은 45점에 약 0.26달러, Gemini 3.8 Flash는 41점에 약 1.24달러다. Humanity's Last Exam은 39%에서 48%로, 물리 추론 평가인 CritPt는 4%에서 22%로 올랐다. 평가 중 출력 토큰은 약 1억 8900만 개로, GLM-5.3 Flash의 약 3억 2400만 개나 Gemini 3.8 Flash의 약 3억 3400만 개보다 적었다.
사실 지식을 묻는 AA-Omniscience에서는 정답률이 56%로, DeepSeek V4.1 Flash-1017의 43%와 GLM-5.3 Flash의 28%를 웃돌았다. 하지만 거의 모든 문항에 답을 시도했고, 정답이 아닌 응답 가운데 오답의 비율을 나타내는 환각률은 93%에 달해 종합 점수는 16점에 그쳤다. 이는 전체 답변의 93%가 틀렸다는 뜻이 아니라, 답할 수 없는 상황에서도 모른다고 인정하지 않고 잘못된 답을 고르기 쉽다는 것을 보여준다. 기사는 레코드 갱신이나 재무 문서 분석 같은 작업을 맡길 경우 추가 검증, 검색, 가드레일, 사람의 확인이 필요할 수 있다고 지적한다.
제공 방식은 자사 API, M Plan 구독, MiniMax Code 데스크톱 앱이다. 캐시 입력은 100만 토큰당 0.015달러이며, 텍스트와 이미지를 입력할 수 있고 출력은 텍스트다. 컨텍스트 윈도우는 100만 토큰이다. 초당 200토큰 이상의 생성 속도를 내세우며, 희소성 향상이 성능 개선의 한 요인이라고 설명한다. 가중치는 발표 시점에 비공개이며 10월 23일 공개될 예정이지만 라이선스 조건은 아직 발표되지 않았다. 이 모델은 앞서 Space Bunny라는 이름으로 익명 운영됐으며, 그때 처리한 양이 2조 토큰이 아니라 200조 토큰 이상이었다고 밝혔다. 상위 Pro 모델도 계획돼 있지만 출시 시기는 정해지지 않았다.
출처: Search: AI launches · venturebeat.com