오래 쓸 수 있는 AI 서빙 하네스 설계

기업 AI의 경쟁력은 모델 선정보다 아키텍처, 메모리 관리, 스케줄링, 최적화 등 모델 주변의 서빙 하네스 설계에서 결정된다고 주장한다. 추론 시에는 모델 가중치가 고정되어 있어도 KV 캐시가 활성 요청 수와 컨텍스트 길이에 따라 커지므로, 연산 자원에 여유가 있어도 GPU 메모리가 부족해질 수 있다. 이에 따라 먼저 측정해 병목을 찾고, 대응과 재측정을 반복하는 접근이 제안되고 있다.