DeepSeek, 추론 인프라 DeepInfer를 Apache 2.0으로 공개

DeepSeek는 2026년 10월 20일, 사내에서 사용해 온 추론 프레임워크 「DeepInfer」를 GitHub에서 완전 오픈소스로 공개했다. 공식 X 계정은 DeepSeek-V4.1-Flash를 대규모로 가동하기 위해 높은 처리량과 낮은 지연 시간을 구현한 기반이며, 컴퓨팅 비용과 에너지 소비 절감을 돕는 것이 목적이라고 설명했다. The Decoder에 따르면 DeepInfer의 라이선스는 Apache License 2.0이며, vLLM을 기반으로 최적화된 연산 커널, 여러 칩에 걸친 분산 처리, 고속 텍스트 생성 기술을 결합했다. 공식 API의 토큰 처리를 자체 환경에서 재현하는 「deepseek-recipe」도 함께 공개됐다. Latent Space에 따르면 분산 추론, 투기적 디코딩, SWA Bounded Replay, 구조화 출력을 NVIDIA와 Huawei Ascend에서 지원하며, recipe는 Chat Completions, Responses, Messages API를 지원한다. 앞으로 모델 추론 구현과 최적화도 같은 저장소에 추가될 예정이다. 보고된 수치는 평균 TTFT 400ms, 생성 속도 230토큰/초이며, 코딩 용도에서는 300토큰/초에 이른다. 구성은 비전 인코딩, prefill, decode를 분리하는 방식이며, decode에는 64~128 가속기의 슈퍼노드가 권장되고, 캐시는 약 100 PiB의 SSD를 갖춘 3FS급 클러스터에 배치된다. 한 클러스터에서 하루 약 155T 토큰을 처리했다고 하지만, 이는 신규 생성량이 아니라 캐시 적중분을 포함한 처리량으로 읽어야 한다. 평가와 경제성에 대해서는 시각이 엇갈린다. vLLM 팀은 DeepInfer가 처음에 vLLM을 기반으로 만들어졌음을 인정하면서, GB200 동일 조건에서 decode 처리량이 공표값의 6% 이내에 든다고 보고했다. 다만 decode 단계만 비교한 것이며, 경쟁 엔진 측의 자체 보고다. 시간당 수익 $38에 GPU 비용을 시간당 $5~$10으로 잡으면 약 73.7~86.8%의 마진이 나온다는 추산도 있으나, SSD 캐시 시스템, 네트워크, 인건비는 포함되지 않았다. V4.1 Flash는 Agent Arena에서 오픈 모델 1위라는 보고가 있는 반면, 토큰 효율 등을 둘러싼 이견도 제기되고 있다. The Decoder는 이것이 유럽과 미국 사업자에 대한 가격 압박이 될 것이라고 전했다. 10월 26일자 분석 기사는 라이선스에 대해 DeepInfer는 Apache 2.0, deepseek-recipe는 MIT라고 정리했다. 이 기사는 Microsoft가 2018년 GitHub를 75억 달러에 인수하고 오픈소스 쪽으로 방향을 튼 사례를 들며, 오픈소스화로 경쟁 우위를 잃으면 후퇴가 빨라질 가능성을 검증하고 있다.

보도를 바탕으로 AI가 작성 · 9일 전 업데이트