Mistral AI, 에이전트형 코딩 LLM ‘Devstral’을 Apache 2.0으로 공개
Devstral
Mistral AI는 All Hands AI와 공동으로 소프트웨어 엔지니어링용 에이전트형 LLM ‘Devstral’을 발표했다. SWE-Bench Verified에서 46.8%를 기록해 기존 오픈소스 SoTA를 6포인트 넘게 웃돌았다. Apache 2.0 라이선스로 공개하며, API에서는 devstral-small-2505라는 이름으로 제공한다.
Devstral은 실제 GitHub 이슈를 해결하도록 훈련된 모델로, OpenHands나 SWE-Agent 같은 코드 에이전트용 스캐폴드에서 동작한다. SWE-Bench Verified는 사람이 정답 여부를 직접 확인한 실제 GitHub 이슈 500건으로 구성된 데이터셋이며, Devstral의 점수는 46.8%다. 같은 OpenHands 조건에서 비교하면 Deepseek-V3-0324(671B)나 Qwen3 232B-A22B 같은 훨씬 큰 모델보다 높다고 한다. 클로즈드 모델과의 비교에서는 최근의 GPT-4.1-mini를 20% 넘게 앞섰다고 한다.
일반적인 LLM은 단일 함수 작성이나 코드 완성에는 강하지만, 대규모 코드베이스의 맥락 파악, 떨어진 컴포넌트 사이의 관계 파악, 복잡한 함수에 숨은 미묘한 버그 발견 같은 실무 과제에서는 어려움을 겪는다고 한다. Devstral은 이런 과제에 대응하도록 설계되었다.
이 모델은 RTX 4090 한 장이나 32GB RAM을 갖춘 Mac에서 구동할 만큼 가벼워, 로컬 운용과 온디바이스 활용에 적합하다. 보안이나 컴플라이언스 요건이 엄격한 기업의 비공개 리포지토리에서 에이전트형 코딩을 하는 데에도 적합하다고 한다.
제공 측면에서 API 가격은 Mistral Small 3.1과 같으며, 입력 $0.1/백만 토큰, 출력 $0.3/백만 토큰이다. 셀프 배포용 가중치는 HuggingFace, Ollama, Kaggle, Unsloth, LM Studio에서 오늘 바로 내려받을 수 있다. 비공개 코드베이스에 대한 파인튜닝, 지속적 사전학습, 증류를 원하는 기업을 위해 응용 AI 팀 문의 창구도 마련되어 있다. Devstral은 리서치 프리뷰로 제공되며, 더 큰 에이전트형 코딩 모델을 수 주 안에 내놓을 예정이라고 밝혔다.
SWE-Bench Verified의 비교 조건과 단일 RTX 4090 또는 Mac 32GB에서 구동할 수 있다는 점이 함께 명시되어 있어, 로컬 도입 여부를 판단하는 데 참고가 된다.
출처: Mistral AI News · mistral.ai