모델을 돌리는 기술. 추론 최적화, 메모리와 비용, 서빙 구성, 인프라 선택.
Hugging Face가 Diffusers에서 Nunchaku의 SVDQuant(W4A4) 체크포인트를 `from_pretrained()`로 직접 불러올 수 있도록 했다. 로컬에서 CUDA를 컴파일할 필요는 없으며, kernels 패키지를 통해 커널을 가져온다. RTX PRO 6000에서의 측정 결과, BF16 대비 최대 피크 VRAM을 50% 줄였고 지연 시간은 약 30% 개선됐다.
선정 이유: W4A4 양자화가 weight-only와 무엇이 다른지 설명하고 속도와 VRAM의 실측치도 함께 제시하고 있어, 보유한 GPU에서 도입할지 판단하기 쉽다.
Thinking Machines Lab이 이미지, 텍스트, 음성을 입력할 수 있는 약 1T 파라미터 오픈 모델 Inkling을 Hugging Face에 공개했다. 총 파라미터 975B, 활성 파라미터 41B의 MoE 구조이며 1M 컨텍스트를 지원한다. 총 276B, 활성 12B인 Inkling-Small도 추가되었으며, Inference Endpoints에서 원클릭으로 배포할 수 있다.
선정 이유: 아키텍처 세부 사항, 필요 VRAM, 각 추론 엔진별 실행 절차, 벤치마크 표가 한데 정리되어 있어 도입 여부를 판단하는 자료로 활용할 수 있다.
Anthropic의 Claude Platform 릴리스 노트는 Claude API, 클라이언트 SDK, Claude Console의 업데이트를 최신순으로 게재하고 있다. Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 5.5(claude-haiku-5-5)의 제공 개시 외에도 프롬프트 캐시 읽기 요금 인하, Claude Managed Agents 기능 추가, Compliance API 확장 등이 기재되어 있다.
선정 이유: 모델 추가, 가격 개정, 지원 종료 예정, Managed Agents 기능 추가가 날짜순으로 정리되어 있어 API 마이그레이션 시 확인해야 할 변경 사항을 한 번에 파악할 수 있다.
Anthropic은 공식 Claude Platform 릴리스 노트를 업데이트하고, Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 5.5 등의 제공 개시와 Claude Managed Agents의 새 기능 및 API 변경 사항을 게재했다. Claude Opus 5.5는 1M 토큰 컨텍스트 윈도우를 갖추며, 요금은 백만 토큰당 $4 / $20 USD다. 구형 모델에서 마이그레이션할 때 400 오류가 발생할 수 있는 변경 사항도 여러 건 기재되어 있다.
선정 이유: 모델 추가, 요금 개정, API 사양 변경, Managed Agents 기능 추가가 날짜순으로 정리되어 있어, 마이그레이션 시 문제가 생기기 쉬운 변경 사항을 한눈에 확인할 수 있다.
Anthropic이 Sonnet 제품군의 차세대 모델 Claude Sonnet 5（claude-sonnet-5）를 공개했다. 도입 가격은 입력 $2, 출력 $10 per MTok이며, 2026년 8월 10일에 표준 가격으로 전환된다. 1M 토큰 컨텍스트 윈도우와 128k 최대 출력 토큰을 지원하며, Priority Tier는 이용할 수 없다. 아울러 Claude Managed Agents에도 이벤트 델타 등의 기능이 추가됐다.
선정 이유: 가격, 컨텍스트 길이, 마이그레이션 시의 동작 변경이 하나의 릴리스 노트에 정리돼 있어, 기존 Sonnet 4.6 이용자가 마이그레이션 비용을 가늠하기 쉽다.
Claude Platform 릴리스 노트에 Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 5.5의 제공 시작과 Claude Managed Agents, Compliance API의 기능 추가가 기재되었다. Sonnet 5.5의 캐시 읽기 요금은 100만 토큰당 $0.20에서 $0.10으로 인하되었다. Claude Sonnet 4.5는 2026년 11월 30일에 Claude API 제공이 종료될 예정이다.
선정 이유: 모델 추가, 요금 개정, 종료 예정, Managed Agents 기능 추가가 날짜순으로 정리되어 있어 API 이전 시 변경 사항을 한눈에 확인하기 좋다.
Google DeepMind가 텍스트 확산(diffusion) 방식을 채택한 26B MoE 오픈 모델 DiffusionGemma를 Apache 2.0 라이선스로 공개했다. 전용 GPU에서 최대 4배 빠른 추론을 구현하며, 단일 NVIDIA H100에서 초당 1000개 이상의 토큰, NVIDIA GeForce RTX 5090에서 초당 700개 이상의 토큰을 출력한다. 다만 출력 품질은 표준 Gemma 4보다 낮아, 높은 품질이 필요한 용도에는 Gemma 4를 권장하고 있다.
선정 이유: 자기회귀 모델과의 속도 차이가 발생하는 원리, 로컬 추론에 적합한 조건, 클라우드 배포에서는 장점이 줄어드는 지점이 정리되어 있어 용도를 가늠하기에 유용하다.
Google이 70개 이상 언어에서 거의 실시간으로 음성을 음성으로 번역하는 음성 모델 Gemini 3.5 Live Translate를 공개했다. 화자의 억양, 말하는 속도, 음높이를 유지한 자연스러운 번역 음성을 생성한다. 개발자를 위해 Gemini Live API와 Google AI Studio에서 퍼블릭 프리뷰로 제공되며, Google 번역 앱(Android, iOS)에도 적용이 시작됐다.
선정 이유: 개발자용 API, Google Meet, Google 번역 앱으로의 적용 범위가 한꺼번에 정리되어 있어 이용 경로를 비교하기 쉽다.
Anthropic은 전체 고객 대상의 최고 성능 모델 Claude Fable 5(claude-fable-5)와 Project Glasswing 참여자 대상의 Claude Mythos 5(claude-mythos-5)를 공개했다. 두 모델 모두 컨텍스트 윈도우는 기본 1M 토큰, 최대 출력은 128k 토큰이며, 적응형 사고가 상시 활성화되어 있다. Claude Opus 4.7 이전 모델과 비교하면 같은 텍스트에서 토큰 수가 약 30% 늘어난다.
선정 이유: 모델 사양과 함께, 토크나이저 변경에 따른 약 30% 토큰 증가 및 사고 모드 제약 등 마이그레이션 시 확인해야 할 조건이 정리되어 있다.
Anthropic의 Claude Platform 릴리스 노트는 Claude API, SDK, Claude Console의 변경 사항을 최신순으로 게재하고 있다. Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 5.5, Claude Fable 5.1 등 모델 추가와 함께 요금 및 호환성에 영향을 주는 변경 사항도 포함되어 있다.
선정 이유: 모델 추가, 요금 개정, SDK 변경, 호환성 파괴 변경이 날짜순으로 정리되어 있어 마이그레이션 시 확인해야 할 부분을 쉽게 추적할 수 있다.
Anthropic의 Claude Platform 릴리스 노트가 Claude API, 클라이언트 SDK, Claude Console의 변경 사항을 최신순으로 게재하고 있다. Claude Opus 5.5, Claude Sonnet 5.5, Claude Haiku 5.5 등 모델 추가와 함께 Claude Managed Agents의 기능 추가 및 Compliance API 확장도 기재되어 있다.
선정 이유: 모델 추가, 요금 개정, API 사양 변경, Managed Agents 기능 추가가 날짜순으로 정리되어 있어 마이그레이션 시 호환성이 깨지는 변경점도 쉽게 확인할 수 있다.
Mistral AI가 차세대 모델 Mistral 3를 발표했다. 14B·8B·3B의 소형 dense 모델과, 활성 파라미터 41B·총 675B 규모의 MoE인 Mistral Large 3로 구성되며, 전 모델을 Apache 2.0 라이선스로 공개한다. Mistral Large 3는 LMArena에서 OSS 비추론 모델 부문 2위를 기록했고, Ministral 3 14B의 추론 버전은 AIME '25에서 85%를 달성했다.
선정 이유: 3B·8B·14B 소형 모델과 675B 규모 MoE를 동일한 Apache 2.0으로 공개해, 용도별 선택지와 배포처를 비교하기 쉽다.