Hugging Face가 Diffusers에서 Nunchaku의 SVDQuant(W4A4) 체크포인트를 `from_pretrained()`로 직접 불러올 수 있도록 했다. 로컬에서 CUDA를 컴파일할 필요는 없으며, kernels 패키지를 통해 커널을 가져온다. RTX PRO 6000에서의 측정 결과, BF16 대비 최대 피크 VRAM을 50% 줄였고 지연 시간은 약 30% 개선됐다.
선정 이유: W4A4 양자화가 weight-only와 무엇이 다른지 설명하고 속도와 VRAM의 실측치도 함께 제시하고 있어, 보유한 GPU에서 도입할지 판단하기 쉽다.
Hugging Face는 Pollen Robotics가 개발한 손에 쥐는 그리퍼형 조작 데이터 기록 시스템 Grabette를 공개했다. 로봇 없이 사람의 손 시연을 기록할 수 있으며, 브라우저에서 처리되어 LeRobot 형식의 데이터셋으로 변환된다. 하드웨어 CAD 및 제작 파일, 소프트웨어, 처리 파이프라인은 모두 오픈소스다.
Hugging Face는 운영 인프라 일부에 자율형 AI 에이전트 시스템이 주도한 침입이 있었다고 공개했다. 내부 데이터셋 일부와 여러 서비스용 인증 정보에 대한 무단 접근은 확인했으나, 공개 모델·데이터셋·Spaces가 변조된 증거는 발견되지 않았다. 소프트웨어 공급망에도 문제가 없다고 확인했다.
선정 이유: AI 에이전트 주도의 침입을 AI 기반 탐지와 오픈 웨이트 모델을 이용한 로그 분석으로 조사한 경위가 구체적으로 제시되어 있어, 방어 측의 대비를 고민하는 데 참고가 된다.
에이전트를 위한 모델 라우팅은 모델 선택을 분류하는 문제가 아니라, 비용·품질·지연 시간을 동시에 최적화하는 시스템 최적화 문제로 다뤄야 한다고 주장한다. AppWorld Test Challenge의 417개 태스크에서 동일한 CodeAct 에이전트의 총비용은 Sonnet이 79달러(태스크당 0.19달러)였던 반면, GPT-4.1은 155달러(태스크당 0.37달러)로 약 2배에 달했다. 캐시가 작동하는 방식의 차이가 단가 차이를 뒤집은 것이다. 제안하는 라우터 구성 1은 Opus 단독 사용과 비교해 비용을 21%, 지연 시간을 9% 줄였으며, 정확도 하락은 4%에 그쳐 84%를 달성했다.
Real World VoiceEQ는 음성 AI의 인간다움을 측정하는 벤치마크다. 40개 이상의 모델을 15개 이상의 평가 축, 60개 이상의 지표로 평가했으며, 100만 건을 넘는 사람의 평가를 바탕으로 한다. TTS 부문에서는 8개 능력군 모두에서 상위 5위 안에 든 구성은 없었다.
Thinking Machines Lab이 이미지, 텍스트, 음성을 입력할 수 있는 약 1T 파라미터 오픈 모델 Inkling을 Hugging Face에 공개했다. 총 파라미터 975B, 활성 파라미터 41B의 MoE 구조이며 1M 컨텍스트를 지원한다. 총 276B, 활성 12B인 Inkling-Small도 추가되었으며, Inference Endpoints에서 원클릭으로 배포할 수 있다.
선정 이유: 아키텍처 세부 사항, 필요 VRAM, 각 추론 엔진별 실행 절차, 벤치마크 표가 한데 정리되어 있어 도입 여부를 판단하는 자료로 활용할 수 있다.
Hugging Face 블로그 연재 「Profiling in PyTorch」 3회에서는 Attention을 단순하게 구현한 모듈을 프로파일러로 분석한다. out-of-place인 masked_fill을 in-place인 masked_fill_로 바꾸면 GPU에서 Memcpy 커널이 사라지고, forward를 한 번 실행할 때마다 커널이 하나씩 줄어든다고 설명한다.
vLLM의 transformers 모델링 백엔드는 여러 LLM 아키텍처에서 전용 vLLM 구현과 동등하거나 그 이상의 속도를 달성했다. --model-impl transformers 플래그만 추가하면 사용할 수 있으며, Qwen3-4B, Qwen3-32B, Qwen3-235B-A22B-FP8 3개 모델을 비교한 결과 모두 네이티브 구현과 동등 이상의 처리량을 보였다. 실행 시 torch.fx로 계산 그래프를 분석하고 융합 연산을 적용해 속도를 높였다.
Mistral AI는 Lean 4에서의 형식 검증을 지원하는 Apache-2.0 라이선스 모델 「Leanstral 1.5」를 공개했다. 총 파라미터 119B, 활성 파라미터 6B 규모이며, miniF2F를 포화시키고 PutnamBench에서는 672문제 중 587문제를 풀었다. FATE-H에서 87%, FATE-X에서 34%를 기록해 새로운 state-of-the-art를 달성했으며, Hugging Face와 무료 API를 통해 이용할 수 있다.
Google Research는 표 형식 데이터의 분류와 회귀를 제로샷으로 수행하는 기반 모델 TabFM을 발표했다. 문맥 내 학습을 통해 모델 학습, 하이퍼파라미터 조정, 특성 엔지니어링 없이 한 번의 순전파로 예측할 수 있다. Hugging Face와 GitHub에서 공개되었으며, Google Cloud BigQuery에서도 이용할 수 있다.
선정 이유: 표 형식 데이터의 예측을 문맥 내 학습(in-context learning)으로 다루는 설계와, 합성 데이터만으로 사전 학습한 점이 정리되어 있어 기존 트리 계열 기법과의 차이를 파악하기 쉽다.
Google DeepMind가 텍스트 확산(diffusion) 방식을 채택한 26B MoE 오픈 모델 DiffusionGemma를 Apache 2.0 라이선스로 공개했다. 전용 GPU에서 최대 4배 빠른 추론을 구현하며, 단일 NVIDIA H100에서 초당 1000개 이상의 토큰, NVIDIA GeForce RTX 5090에서 초당 700개 이상의 토큰을 출력한다. 다만 출력 품질은 표준 Gemma 4보다 낮아, 높은 품질이 필요한 용도에는 Gemma 4를 권장하고 있다.
선정 이유: 자기회귀 모델과의 속도 차이가 발생하는 원리, 로컬 추론에 적합한 조건, 클라우드 배포에서는 장점이 줄어드는 지점이 정리되어 있어 용도를 가늠하기에 유용하다.
Mistral AI가 128B 덴스 오픈 웨이트 모델 Mistral Medium 3.5를 퍼블릭 프리뷰로 공개하고, Mistral Vibe와 Le Chat에 클라우드에서 작동하는 리모트 에이전트를 추가했다고 밝혔다. SWE-Bench Verified에서 77.6%, τ³-Telecom에서 91.4를 기록했다고 설명했다. Pro, Team, Enterprise 플랜에서 이용할 수 있으며, API 요금은 입력 100만 토큰당 $1.5, 출력 100만 토큰당 $7.5이다.
선정 이유: 128B 덴스 모델의 공개와 클라우드형 에이전트 제공이 동시에 발표됐고, 가격과 자체 호스팅 요건도 함께 명시되어 있어 도입 판단의 근거로 활용하기 쉽다.
Mistral은 4B 파라미터 규모의 텍스트 음성 합성 모델 Voxtral TTS를 공개했다. 9개 언어를 지원하며, API에서는 1,000자당 $0.016에 이용할 수 있다. 사람이 평가한 결과 자연스러움에서 ElevenLabs Flash v2.5를 앞섰고, ElevenLabs v3와 같은 수준의 품질을 보인 것으로 알려졌다.
Mistral AI가 음성 인식 모델 패밀리 Voxtral Transcribe 2를 공개했다. 배치용 Voxtral Mini Transcribe V2와 지연 시간을 200ms 미만까지 설정할 수 있는 실시간용 Voxtral Realtime으로 구성된다. Realtime은 4B 파라미터 규모로 Apache 2.0 오픈 웨이트 형태이며 Hugging Face Hub에서 배포된다. Mini Transcribe V2의 API 요금은 1분당 $0.003이다.
선정 이유: 배치용과 실시간용 두 모델에 대해 지연 시간 설정, 요금, 지원 언어가 나란히 제시되어 용도별 선택을 판단하기 쉽다.
Mistral은 Pixtral-12B를 위성 이미지로 파인튜닝하면 기본 모델보다 큰 폭의 성능 향상을 얻을 수 있다고 밝혔다. 평가에는 Aerial Image Dataset(AID)을 사용했으며, 이를 학습 데이터 8,000건과 테스트 데이터 2,000건으로 나누었다. 프롬프트만으로는 모호한 클래스를 구분하기 어렵고, 존재하지 않는 클래스 이름을 출력하는 문제가 있었다.
Mistral AI는 음성 이해 모델 Voxtral을 공개했다. 프로덕션용 24B와 로컬·엣지용 3B, 두 가지 크기로 제공되며 모두 Apache 2.0 라이선스다. API는 $0.001 per minute부터 이용할 수 있으며, Voxtral Mini Transcribe는 OpenAI Whisper를 웃도는 성능을 절반 미만의 가격으로 제공한다고 밝혔다.
선정 이유: 음성 인식과 음성 이해를 하나의 모델로 처리하도록 설계되어 있으며, Whisper 등 타사 API와의 비교와 가격이 제시되어 있어 도입 판단의 근거로 활용하기 좋다.
Mistral AI가 자사 첫 추론 모델 Magistral을 발표했다. 24B 파라미터의 오픈소스 모델 Magistral Small과 기업용 Magistral Medium 2종으로 제공한다. AIME2024에서 Medium은 73.6%(majority voting @64 시 90%), Small은 70.7%(동일 조건 83.3%)를 기록했다. Small은 Apache 2.0 라이선스로 Hugging Face에서 내려받을 수 있으며, Medium은 Le Chat과 La Plateforme API를 통해 프리뷰로 제공된다.
선정 이유: 24B 버전의 오픈 모델과 기업용 Medium 버전이라는 두 갈래로 나온 첫 추론 모델이다. AIME2024 수치와 제공처도 함께 공개돼 위치를 파악하기 쉽다.
Mistral AI가 텍스트 성능과 멀티모달 이해력을 개선하고 컨텍스트 윈도우를 최대 128k 토큰으로 확장한 Mistral Small 3.1을 발표했다. Apache 2.0 라이선스로 공개되었으며, Gemma 3과 GPT-4o Mini를 능가하고 추론 속도는 150 토큰/초라고 밝혔다. Hugging Face에서 베이스 모델과 인스트럭트 모델을 내려받을 수 있다.