본문 바로가기
원문
Hugging Face Blog·· 20일 전AI 점수42

Granite Switch 4.1, 채팅·판정·음성 인식을 하나의 엔드포인트로 제공

Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint

AI 요약

Granite Switch 4.1의 8B와 30B 모델은 범용 Decision aLoRA, 안전성 판정용 Guardian aLoRA, OpenASR Leaderboard에서 가장 빠른 것으로 알려진 ASR 모델 Granite-Speech-5.0-Turbo-CTC를 하나의 모델로 통합하여, 하나의 엔드포인트에서 채팅, 판정, 문자 변환을 처리한다. 필요한 VRAM은 베이스 모델 단독과 거의 같으며 KV 캐시도 재사용할 수 있다. vLLM에서는 플러그인으로 동작하고, llama.cpp도 네이티브로 지원한다.

출처: Hugging Face Blog · huggingface.co