Hugging Face Blog·· 20일 전AI 점수42
Granite Switch 4.1, 채팅·판정·음성 인식을 하나의 엔드포인트로 제공
Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
AI 요약
Granite Switch 4.1의 8B와 30B 모델은 범용 Decision aLoRA, 안전성 판정용 Guardian aLoRA, OpenASR Leaderboard에서 가장 빠른 것으로 알려진 ASR 모델 Granite-Speech-5.0-Turbo-CTC를 하나의 모델로 통합하여, 하나의 엔드포인트에서 채팅, 판정, 문자 변환을 처리한다. 필요한 VRAM은 베이스 모델 단독과 거의 같으며 KV 캐시도 재사용할 수 있다. vLLM에서는 플러그인으로 동작하고, llama.cpp도 네이티브로 지원한다.
출처: Hugging Face Blog · huggingface.co