어휘를 특화한 SLM은 실제 앱의 추론 비용을 77% 줄일 수 있을까
VocabX로 어휘를 특화한 Qwen3-4B 기반 포르투갈어 에세이 채점 모델은 베이스 모델을 바꾸지 않고 측정상 추론 비용을 77% 줄였다고 한다. 어휘는 용도에 맞게 재구성됐으며, 출력층은 약 152,000행에서 약 65,000행으로 축소됐다. 수치는 심사 중인 논문 버전을 기준으로 하므로 공개 시점에는 달라질 수 있다.
#모델 발표
#모델 발표
오늘 0건Hugging Face BlogAI 점수3535
AWS Machine Learning BlogAI 점수3434 i14, 선형 어텐션 모델 Laplace 3B를 AWS Trainium2와 네이티브 PyTorch로 학습·추론
i14는 선형 어텐션 모델 Laplace 3B를 AWS Trainium2에서 네이티브 PyTorch를 사용해 학습하고 서비스했다. 재귀 상태는 컨텍스트 길이와 관계없이 시퀀스당 29.5 MB로 고정된다. trn2.48xlarge 인스턴스 1대에서의 학습 처리량은 약 120,000 토큰/초였으며, 1,280개의 동시 시퀀스에서의 추론 출력은 11,544 토큰/초였다.
Hugging Face Daily PapersAI 점수2828 CoEvo-RSI, 하네스 진화에 맞춰 어떤 모델을 따라가야 하는지 분석
CoEvo-RSI는 재귀적 자기 개선 에이전트에서 하네스(몸체)와 모델(뇌) 사이의 불일치를 양방향 이력 상속으로 완화하는 프레임워크다. 지도 파인튜닝(SFT)만을 사용하며, Qwen3.5-9B가 다양한 수직 응용 분야에서 대형 모델에 필적하는 성능을 보였다고 밝혔다. TraceElephant에서는 DeepSeek-V4-Pro를 웃돌았고(에이전트 정확도 +14.16), HomeBench VM에서는 GLM-5.3을 넘어섰다(성공률 +4.90).
Hugging Face Daily PapersAI 점수3434 MJev-Spatial, 단일 패스 분류로 공간 추론을 가속하는 멀티모달 판단 모델 발표
MJev-Spatial은 공간 추론 과제를 단일 패스 분류 프레임워크로 통합한 멀티모달 판단 모델로, Qwen3.5-4B를 기반으로 학습되었다. 테스트한 8개 모델 가운데 종합 점수 65.64%를 달성했으며, 12개 벤치마크 중 7개에서 1위를 차지했다. 수정하지 않은 자기회귀 베이스 모델은 12개 전부에서 뒤처졌고, 가장 빠른 자기회귀 베이스라인보다 2.5배, 베이스 모델보다 5.6배 빠르게 동작한다.
Google Research Blog주요 뉴스AI 점수6262 Google Research, 표 형식 데이터용 제로샷 기반 모델 TabFM 발표
Google Research는 표 형식 데이터의 분류와 회귀를 제로샷으로 수행하는 기반 모델 TabFM을 발표했다. 문맥 내 학습을 통해 모델 학습, 하이퍼파라미터 조정, 특성 엔지니어링 없이 한 번의 순전파로 예측할 수 있다. Hugging Face와 GitHub에서 공개되었으며, Google Cloud BigQuery에서도 이용할 수 있다.
선정 이유: 표 형식 데이터의 예측을 문맥 내 학습(in-context learning)으로 다루는 설계와, 합성 데이터만으로 사전 학습한 점이 정리되어 있어 기존 트리 계열 기법과의 차이를 파악하기 쉽다.