The Decoder· Matthias Bastian·· 15일 전AI 점수41
DeepSeek, 최고 속도·최저 가격 AI 모델의 추론 엔진 오픈소스 공개
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 요약
DeepSeek는 자사 추론 프레임워크 「DeepInfer」를 Apache License 2.0으로 공개했다. DeepInfer는 V4.1-Flash 모델의 응답 생성을 대규모로 뒷받침하는 서빙 소프트웨어로, vLLM을 기반으로 최적화된 연산 커널, 여러 칩에 걸친 분산 처리, 고속 텍스트 생성 기술을 결합했다. 아울러 공식 DeepSeek API의 토큰 처리를 재현해 자체 운영 환경에서도 같은 동작을 보장하는 「deepseek-recipe」도 함께 공개되어, OpenAI와 Anthropic 등 미국·유럽 사업자에 대한 가격 압박 요인이 될 전망이다.
출처: The Decoder · the-decoder.com