본문 바로가기
원문
Hugging Face Blog·· 15일 전AI 점수35

어휘를 특화한 SLM은 실제 앱의 추론 비용을 77% 줄일 수 있을까

How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications

AI 요약

VocabX로 어휘를 특화한 Qwen3-4B 기반 포르투갈어 에세이 채점 모델은 베이스 모델을 바꾸지 않고 측정상 추론 비용을 77% 줄였다고 한다. 어휘는 용도에 맞게 재구성됐으며, 출력층은 약 152,000행에서 약 65,000행으로 축소됐다. 수치는 심사 중인 논문 버전을 기준으로 하므로 공개 시점에는 달라질 수 있다.

출처: Hugging Face Blog · huggingface.co