Mistral AI News·· 2026년 1월 22일AI 점수36
힙은 거짓말을 한다: vLLM 메모리 누수 디버깅
Heaps do lie: debugging a memory leak in vLLM.
AI 요약
Mistral AI의 엔지니어링 팀이 vLLM에서 발생한 메모리 누수의 원인을 추적한 과정을 해설한다. Mistral Medium 3.1을 사용하고 그래프 컴파일을 활성화한 조건에서 시스템 메모리가 분당 400MB씩 선형으로 증가했다. Prefill/Decode 분리 구성의 decode 측에서만 재현됐으며, Heaptrack에서는 힙 메모리가 안정적이었지만 힙 외부의 피크 RSS에서 차이가 나타났다.
출처: Mistral AI News · mistral.ai