본문 바로가기
원문
Hugging Face Blog·· 2026년 7월 8일AI 점수41

vLLM의 transformers 모델링 백엔드, 네이티브 수준의 속도 달성

Native-speed vLLM transformers modeling backend

AI 요약

vLLM의 transformers 모델링 백엔드는 여러 LLM 아키텍처에서 전용 vLLM 구현과 동등하거나 그 이상의 속도를 달성했다. --model-impl transformers 플래그만 추가하면 사용할 수 있으며, Qwen3-4B, Qwen3-32B, Qwen3-235B-A22B-FP8 3개 모델을 비교한 결과 모두 네이티브 구현과 동등 이상의 처리량을 보였다. 실행 시 torch.fx로 계산 그래프를 분석하고 융합 연산을 적용해 속도를 높였다.

출처: Hugging Face Blog · huggingface.co