Liquid AI, LFM2.5용 DSpark 드래프트 모델 공개… 추론 최대 3.2배 빨라져
Up to 3.2x Faster Inference with LFM2.5-DSpark
Liquid AI가 LFM2.5-1.2B-Instruct, LFM2.5-2.6B, LFM2.5-8B-A1B 3개 모델용 DSpark 드래프트 모델을 공개했다. 투기적 디코딩을 통해 출력 품질을 바꾸지 않고 GPU에서 최대 3.18배, 온디바이스에서 최대 2.87배의 처리량 향상을 보였다. llama.cpp와 SGLang에서 출시 첫날부터 사용할 수 있으며, LFM2.5-2.6B의 함수 호출 지연 시간은 평균 57% 줄었다.
DSpark는 DFlash 방식의 병렬 백본, 토큰 간 의존성을 더하는 경량 순차 헤드, 신뢰도에 따라 신뢰도가 낮은 후속 토큰을 잘라내는 검증기의 세 요소로 구성된다. 디코딩은 메모리 대역폭이 속도를 제한하기 쉬우며, 경량 드래프트 모델이 후보 토큰을 내고 타깃 모델이 한 번의 포워드 패스로 이를 한꺼번에 검증함으로써 가중치 읽기 비용을 나눠 갖는다.
드래프트 모델은 5개 층, 블록 크기 9의 어텐션 전용 구성이며, 각각 약 300M 파라미터(295.7M 또는 327.7M)이다. SFT, 채팅, 코드, 함수 호출 데이터를 섞어 15 에폭 학습했으며, 손실이 아니라 수용률이 가장 높은 에폭을 선택했다. 그리디 디코딩에서는 출력이 베이스라인과 동일하므로 벤치마크 정확도는 변하지 않는다고 밝혔다.
측정은 H100 80GB의 SGLang(BF16)과 M4 Max MacBook Pro의 llama.cpp(Metal, FP16 GGUF)에서 배치 크기 1, 온도 0, 5개 데이터셋으로 진행했다. LFM2.5-2.6B의 평균은 H100에서 2.67배(323→864 tok/s), M4 Max에서 2.27배(61→139 tok/s)였다. LFM2.5-1.2B-Instruct는 평균적으로 H100에서 2.10배, M4 Max에서 2.54배이지만, 데이터셋에 따라 수용률의 편차가 크다.
LFM2.5-8B-A1B는 수용률이 높아 H100에서 평균 2.54배를 기록했으나, M4 Max에서는 평균 1.18배에 그쳤다. 그 이유로 llama.cpp Metal 백엔드의 현재 MoE 구현과, k개 토큰 검증 시 더 많은 전문가(expert)가 활성화되어 가중치 전송량이 늘어나는 점을 들었다.
사용하려면 DSpark를 지원하는 SGLang 빌드(PR #31041) 또는 llama.cpp 빌드(PR#27383)가 필요하며, `--speculative-algorithm DSPARK`, `--spec-type draft-dspark` 등의 실행 예시가 제시되어 있다. 체크포인트는 Hugging Face에서 Safetensors와 GGUF 두 형식으로 공개되어 있다.
출처: Hugging Face Blog · huggingface.co