Mistral AI, Lean 4용 오픈소스 코드 에이전트 Leanstral 공개

Leanstral은 증명 보조기 Lean 4를 위해 설계된 코드 에이전트이다. 기존 증명 시스템이 대규모 범용 모델을 감싼 래퍼이거나 단일 수학 문제에 특화된 것과 달리, 실제 형식화 저장소에서의 작업을 가정하여 학습했다고 한다. 스파스 구성으로 활성 파라미터는 6B로 억제되었고, Lean을 검증기로 삼아 병렬 추론을 수행함으로써 성능과 비용 효율을 함께 확보했다고 밝혔다. vibe를 통해 임의의 MCP에 대응하며, lean-lsp-mcp에서 최대 성능이 나오도록 학습되었다.

평가는 FLT 프로젝트의 각 PR에서 모든 형식 증명을 완성하고 새로운 수학 개념을 올바르게 정의할 수 있는지를 측정하는 방식으로 진행되었다. 비교 대상에는 Claude Opus 4.6, Sonnet 4.6, Haiku 4.5와 오픈 모델인 Qwen3.5 397B-A17B, Kimi-K2.5 1T-A32B, GLM5 744B-A40B가 포함되었다. GLM5와 Kimi는 FLTEval 점수가 각각 약 16.6과 20.1에서 정체되었고, Qwen3.5는 4패스에서 25.4에 도달했다. Leanstral은 1패스에서 GLM5와 Kimi를 웃돌았으며, pass@2에서 26.3, pass@4에서 29.3을 기록했다.

Claude 계열과의 비교에서 Leanstral의 pass@2는 26.3이며 비용은 36달러이고, Sonnet은 23.7이며 비용은 549달러이다. pass@16에서는 31.9에 도달하여 Sonnet을 8포인트 앞선다. 품질에서는 Opus 4.6이 39.6으로 1위이지만, 비용은 1,650달러로 Leanstral의 92배에 이른다고 한다. 평가에서는 Mistral Vibe를 수정 없이 스캐폴드로 사용했다.

사례로, 학습에 포함하지 않은 Lean 4.29.0-rc6에서 `rw` 택틱이 타입 별칭과 일치하지 않게 된 질문에 대해, 테스트 코드로 환경을 재현하고 `def`를 `abbrev`로 바꾸는 수정안을 설명과 함께 제시했다. 또한 Rocq로 작성된 Imp의 정의를 Lean으로 변환하고 커스텀 표기법까지 구현한 뒤, 프로그램의 성질에 관한 정리의 증명까지 수행했다.

제공 형태는 세 가지이다. Mistral Vibe에서는 `/leanstall`로 활성화하고, Shift+Tab으로 모델 표시를 Leanstral로 전환하거나 `vibe --agent lean`으로 사용한다. Labs API 엔드포인트는 `labs-leanstral-2603`이며, 피드백 수집을 위해 기간 한정으로 무료 또는 저가로 유지된다. 가중치는 Apache 2.0으로 배포된다. 기술 보고서와 새로운 평가 스위트 FLTEval도 공개될 예정이다.