NVIDIA Nemotron Voice Agent를 활용해 할로윈용 대화형 캐릭터 「MonsterHouse」를 단일 워크스테이션에서 구동했다. 응답 생성에는 LoRA 어댑터를 탑재한 Nemotron 3.5 Bolt E4B 4GB를 사용했으며, 어댑터 학습에는 5000건 이상의 다중 턴 대화 데이터셋을 활용했다. 음성은 Magpie TTS Zeroshot, 입 모양은 Audio2Face-3D로 생성하고, Unreal Engine 5에서 렌더링했다.
AnySpeechRecognizer와 AnyDecisionModel은 Apple 플랫폼에서 오픈 모델을 사용해 음성 인식과 판단을 수행하는 Swift 패키지다. AnySpeechRecognizer는 SpeechAnalyzer와 동일한 API를 그대로 유지하면서, NVIDIA의 Parakeet이나 Alibaba의 Qwen3-ASR 등 여러 인식 엔진 중에서 선택할 수 있게 하며 화자 분리 기능도 추가한다. AnyDecisionModel은 예/아니오, 다지선다, 평가 척도 질문에 대해 텍스트를 생성하는 방식이 아니라 모델의 확률로부터 답을 도출하며, 타입이 지정된 결과와 확률을 반환한다.
NVIDIA RTX Spark 탑재 노트북을 위해 오픈 웨이트 음성 모델 「NVIDIA Nemotron 3.5 Transcribe」와 LFM3 오픈 모델 패밀리의 지원이 예정되어 있다. Nemotron 3.5 Transcribe는 40개 언어를 지원하며, 받아쓰기, 화자 식별, 번역을 하나의 모델로 처리한다.
삼성전자가 갤럭시 워치의 수면 무호흡 기능을 고도화하고 한국 식품의약품안전처(MFDS) 허가를 획득했다. 개선된 기능은 AI 알고리즘으로 수면 중 시간당 호흡 장애 횟수를 분석해 그 수준을 경미, 가끔, 자주의 3단계로 구분해 보여준다. 국내에서는 11월부터 갤럭시 워치 울트라2, 워치9, 갤럭시 링에서 먼저 제공되며, 웨어(Wear) OS 7.0 이상을 탑재한 갤럭시 워치7·워치8 등 기존 모델로도 순차 확대될 예정이다.
Exowatt는 Amazon SageMaker AI의 서버리스 모델 커스터마이징을 활용해, 엣지용 알람 트리아지를 위한 Qwen3-1.7B와 클라우드용 에너지 시장 분석을 위한 Qwen3-14B를 파인튜닝했다. 그 결과 프런티어 모델보다 높은 정확도를 최대 49배 낮은 비용으로 구현했다고 밝혔다.
LFM3는 텍스트, 비전, 음성, 옴니, 의사결정의 6개 모델을 2B급 파라미터의 공통 백본으로 통일한 차세대 Liquid Foundation Models이다. LFM3-1.7B는 파라미터 수가 35% 적음에도 불구하고 이전 세대인 LFM2.5-2.6B를 능가한다. 텍스트 모델은 4비트 정밀도에서 약 1GB이며 256K 컨텍스트 윈도우를 갖추고 있고, 각 모델은 단일 GPU에서 파인튜닝할 수 있다.
AAIF는 Strands Agents로 구축된 프레임워크로, 라우팅을 담당하는 소형 언어 모델(SLM)이 정형화된 작업을 분류하고 복잡한 분석은 Amazon Bedrock의 클라우드 모델에 맡긴다. 정형화된 작업은 Ollama 위에서 돌아가는 로컬 SLM이 처리하며, 클라우드에 의존하지 않고 낮은 지연 시간으로 완료된다. 엣지 기기인 Raspberry Pi(8 GB)부터 풀 클라우드 구성, 하이브리드 구성까지 지원한다.
NVIDIA는 GTC Berlin에서 RTX Spark, DGX Spark, DGX Station 등 로컬 AI 하드웨어 관련 업데이트를 발표했다. DGX Spark 64GB는 10월 23일 출시되며, DGX Station for Windows는 12월에 나온다. 로컬용 코딩 모델 Recursive Flint, 신규 모델의 Day-0 지원, llama.cpp와 vLLM의 가속 기능도 포함됐다.
네이버 D2SF가 온디바이스 AI 스타트업 트레이스위브(TraceWeave)에 신규 투자했다. 트레이스위브는 메모리 사용량을 일정하게 유지하면서 긴 맥락을 이해하고 여러 단계의 작업을 수행하는 AI 모델 구조 'Phase-TITAN'을 개발했으며, 이를 통해 클라우드 호출 없이 디바이스에서 AI 에이전트를 구현할 수 있다고 밝혔다. 모빌리티 분야에서는 글로벌 완성차 그룹의 자율주행 계열사와 유료 PoC를 마쳤다.
Perplexity@perplexity_aiAI 점수6060
Google는 Coral NPU의 32비트 아키텍처(Milestone 1~4)를 완성하고, IREE/MLIR 기반의 Coral Compiler v1.0을 공개했다. 새로운 Matrix Execution Unit은 최대 1 TOPS로 설정할 수 있으며, 추론 시 평균 소비 전력 10mW를 목표로 한다. Synaptics Astra SR200 시리즈(400 GOPS)와 DigiKey에서 일반 판매되는 Coralboard SL(1 TOPS)도 발표됐다.
Hugging Face가 Apple Foundation Models 프레임워크를 대체할 수 있는 AnyLanguageModel 1.0을 공개했다. swift-huggingface 1.0과 swift-xet 1.0도 함께 릴리스했다. import를 `import AnyLanguageModel`로 바꾸기만 하면 시스템 모델, llama.cpp, MLX, Core ML, 각종 호스팅형 제공업체를 같은 코드로 다룰 수 있다.
Hugging Face의 PyTorch 팀은 PyTorch 2.15의 MPS 백엔드에서 FP8을 지원하고, LLM 디코딩을 가속하며, Metal 커널로의 전환을 진행했다고 발표했다. M3 Ultra에서는 Qwen3.6-35B-A3B가 2.14의 9.4토큰/초에서 61.3토큰/초로 향상됐다. Wan2.2의 비디오 VAE 디코딩에서는 드라이버 메모리 피크가 270 GiB에서 8 GiB로 떨어졌다.
선정 이유: MPS 백엔드의 변경 사항을 MoE 모델의 토큰/초, 메모리 사용량, 필요 환경 수치로 구체적으로 확인할 수 있어 Mac에서의 활용 여부를 판단하는 데 도움이 된다.
AI at Meta@AIatMetaAI 점수5252
Google은 LiteRT 스택에 C++로 모델을 연산 단위로 구성하는 경량 기술 레이어 'LiteRT Tensor API'를 공개했다. 같은 그래프를 CPU, GPU(ML Drift), NPU에서 실행할 수 있으며, XNNPACK을 거치면 모델 파일 없이도 CPU에서 동작한다. SAM 2의 브라우저 구현에서는 코딩 에이전트를 활용해 10fps 미만에서 30fps 이상으로 개선했다.
Hugging Face@huggingfaceAI 점수3333Local AI 202: 투기적 디코딩으로 대폭적인 고속화 실현 https://x.com/i/broadcasts/1NGaroZveLVJj
Antigravity SDK가 로컬 모델 기반 에이전트 처리를 지원하게 되었으며, Google AI Edge의 LiteRT를 이용해 Gemma 4 26B A4B를 초기 지원 모델로 사용할 수 있게 되었다. 네트워크 연결 없이도 완전 오프라인으로 동작하며, 로컬 GPU와 RAM을 효율적으로 활용한다. 하이브리드 구성 데모에서는 클라우드의 Gemini 3.8 Flash가 계획을 수립하고 로컬의 Gemma 4 26B가 처리를 담당했으며, 기록된 실행에서는 전체 토큰의 97.2%(3,322토큰)가 로컬에서 처리되었다.
Google DeepMind, 텍스트·이미지·동영상 프레임·오디오를 하나의 벡터 공간에 매핑하는 오픈 웨이트 임베딩 모델 EmbeddingGemma 2 공개
Google AI Edge 팀이 온디바이스 AI 추론용 GPU 연산 엔진 ML Drift를 Apache 2.0 라이선스로 공개했다. OpenGL ES, OpenCL, Metal, WebGPU를 지원하며, LiteRT의 GPU 가속 핵심 요소이면서 단독 라이브러리로도 사용할 수 있다. YouTube Shorts에서는 Google 발표 기준으로 프레임 지연 시간이 최대 40% 줄었다.
NVIDIA RTX Spark를 탑재한 Windows PC 노트북 제품이 출시됐다. ASUS, Dell, HP, Lenovo, Microsoft, MSI의 노트북이 2,399달러부터 판매되며, NVIDIA Blackwell RTX GPU와 NVIDIA Grace CPU를 결합한 단일 슈퍼칩으로 최대 1 petaflop의 AI 연산 성능과 최대 128GB의 통합 메모리를 갖췄다. 앞으로 더 많은 시스템이 나올 예정이다.
NVIDIA는 크리에이터, 게이머, AI 에이전트를 위한 Windows PC 「NVIDIA RTX Spark」를 출시하고, 10월 16일(금)에 샌프란시스코, 베를린, 타이베이, 베이징, 이스탄불, 서울에서 출시 기념 이벤트를 연다. 행사장에서는 데모를 체험할 수 있으며, 사전 등록 필요 여부는 행사장마다 다르다. #ShareYourSpark 게시물 참여자 중에서 Jensen Huang의 사인이 담긴 ASUS ProArt P14 RTX Spark 탑재 노트북을 받을 수 있는 캠페인도 진행 중이다.
NVIDIA는 120B 파라미터의 오픈 모델 Nemotron 3.5 Super VL과 엣지용 Nemotron 3.5 Bolt 74B-A9B 24GB, Bolt E4B 4GB를 발표했다. Super VL과 Bolt 74B-A9B는 현재 제공 중이며, Bolt E4B는 Oct. 23에 제공될 예정이다. NVIDIA는 Super VL이 같은 급의 차점 모델보다 최대 5배의 처리량을 보였다고 밝혔으며, 가중치와 데이터셋도 공개했다.
선정 이유: 서버용과 엣지용 3개 모델을 메모리 용량 및 배포 대상과 함께 정리하고 있어, 자사 환경에 맞는 규모를 비교해 고르기 쉽다.
Apple Machine Learning Research는 MLX와 RDMA over Thunderbolt를 활용해 Mac Studio 4대로 816B 파라미터의 Muse Spark Open을 초당 36토큰 이상으로 생성할 수 있음을 보였다고 밝혔다. M5 Ultra는 M3 Ultra 대비 TTFT가 최대 4.6배, 토큰 생성 속도가 1.6배 빠르다. Qwen 3.8 27B와 Mistral Medium 3.5 128B는 512GB 메모리를 탑재한 Mac Studio 단독으로 동작한다.
Google DeepMind@GoogleDeepMindAI 점수2727
Google DeepMind와 GovTech Singapore는 경량 모델 Gemma를 싱가포르 현지의 사기 대화로 미세 조정해, 기기에서 동작하는 사기 탐지 모델을 개발했다고 밝혔다. 대화 데이터는 기기 안에서 처리되며, 앱 측에서 사용자의 동의가 있는 경우에만 접근된다. Google과 싱가포르 정부 모두 이용자의 대화에는 접근할 수 없다고 한다. 탐지는 경량 분류기에 의한 1차 선별과 Gemma에 의한 문맥 분석의 2단계 구성으로 이루어진다.
LiquidAI는 총 파라미터 24B, 활성 파라미터 2B 규모의 추론 모델 「LFM2.5-24B-A2B」를 공개했다. 도구 호출과 다단계 작업을 지원하며, 로컬 하드웨어에서 에이전트를 지속적으로 실행할 수 있다고 한다. 에이전트 벤치마크 LiveClaw에서는 48.09점을 기록해 Qwen3.6-35B-A3B의 38.19점을 웃돌았다. 추론 속도는 Apple M5 Max에서 184 tok/s, 단일 NVIDIA B300 GPU에서 최대 21K output tok/s를 나타냈다.
NVIDIA는 Microsoft와 함께 10월 16일 출시되는 RTX Spark 노트북을 위해 GitHub Copilot, Perplexity 등 에이전트 앱과 Adobe, 개발 도구의 지원을 발표했다. RTX Spark는 최대 128GB의 통합 메모리와 1 petaflop의 AI 연산 성능을 갖췄다. 에이전트용 74B(활성 9B) MoE 모델 Nemotron 3.5 Bolt 74B는 10월 15일 공개된다.
NVIDIA와 Microsoft는 샌프란시스코에서 열린 행사에서 Windows에서 AI 에이전트를 구동하기 위한 하드웨어와 소프트웨어를 공동 개발했다고 발표했다. RTX Spark를 탑재한 노트북 PC는 사전 주문 접수를 시작했으며 10월 16일(금)에 출시된다. 소형 데스크톱은 11월 출시 예정이다.
Microsoft AI가 코딩 모델 MAI-Code-1.1-Flash를 발표했다. 6월 Microsoft Build에서 공개한 모델과 비교해 코드 품질이 향상되었고, 토큰 효율은 25% 높아졌으며, 비용은 4분의 1이다. GitHub Copilot에서 실제 운영 중이며, 로컬 실행을 위한 다운로드도 가능하다. GitHub Copilot에서의 실험적 제공은 월말까지 시작된다.
Google DeepMind가 텍스트, 이미지, 오디오, 비디오, 코드를 공통 임베딩 공간에 매핑하는 오픈 임베딩 모델 EmbeddingGemma 2를 공개했다. Gemma 4 아키텍처를 기반으로 한 740M 파라미터 모델이며 Apache 2.0 라이선스로 제공된다. MTEB Code 점수는 68.76에서 78.68로 올랐고, 컨텍스트 윈도우는 8K 토큰으로 확대됐다.
Google은 Trusted Execution Environments(TEE)를 활용한 차세대 연합학습(FL) 시스템을 발표했다. 데이터 익명화의 보장을 제3자가 검증·감사할 수 있는 형태로 제공한다. Gboard는 이미 새 시스템을 채택했으며, 기존 FL 시스템에 비해 계산 시간이 크게 단축되었다고 한다. 각 기기가 사전에 승인하는 접근 정책은 Rekor라는 공개 투명성 로그에 게재되어 외부 감사자가 추적할 수 있다.
Hugging Face는 transformers에 GGUF 모델을 `from_pretrained`로 불러와 실행하는 기능을 추가했다. ggml 커널을 kernels 라이브러리를 통해 재사용하며, 우선 Apple Silicon의 Qwen3.5 아키텍처를 대상으로 한다. 현재는 main 브랜치에서 이용할 수 있으며, 패킹된 추론 경로는 MPS만 지원한다.
선정 이유: GGUF를 transformers API로 불러오는 절차와 llama.cpp와의 역할 분담, Apple Silicon에서의 현재 지원 범위가 구체적으로 정리되어 있다.
Liquid AI가 LFM2.5-1.2B-Instruct, LFM2.5-2.6B, LFM2.5-8B-A1B 3개 모델용 DSpark 드래프트 모델을 공개했다. 투기적 디코딩을 통해 출력 품질을 바꾸지 않고 GPU에서 최대 3.18배, 온디바이스에서 최대 2.87배의 처리량 향상을 보였다. llama.cpp와 SGLang에서 출시 첫날부터 사용할 수 있으며, LFM2.5-2.6B의 함수 호출 지연 시간은 평균 57% 줄었다.
Google DeepMind는 50개 이상의 수어를 학습한 수어-텍스트 번역 모델 SL2T를 발표했다. Pixel 11의 Gboard와 Live Transcribe에서 ASL에서 영어로의 수어-텍스트 입력을 지원한다. FLEURS-ASL(sd-test)에서 제로샷 70 BLEURT를 기록했으며, 기존 보고치를 크게 웃돈다고 설명하고 있다.
선정 이유: 수어를 포즈 좌표만으로 번역하는 설계와 10만 시간이 넘는 학습 데이터, 알려진 오류 사례까지 구체적으로 제시되어 있어 수어 AI의 현황을 파악하기 좋다.
Meta가 Muse에서 30B 파라미터로 증류한 멀티모달 모델 Muse Glimmer를 Apache 2.0 라이선스로 공개했다. 로컬 환경의 에이전트 용도를 염두에 둔 모델이며, transformers, llama.cpp, vLLM, Inference Endpoints가 day-0부터 지원한다. Hugging Face Hub에서 내려받을 수 있다.
선정 이유: 30B 로컬 모델에 대해 아키텍처, 각 추론 기반에서의 사용법, 파인튜닝 요건이 한꺼번에 정리되어 있다.
Google DeepMind가 로봇용 Gemini Robotics 2를 발표했다. VLA인 Gemini Robotics 2, 추론 모델인 Gemini Robotics ER 2, 온디바이스용 Gemini Robotics On-Device 2 등 3개 모델로 구성되며, 휴머노이드의 전신 제어와 여러 로봇의 협업을 가능하게 한다. ER 2는 Google AI Studio에서 이용할 수 있고, VLA와 On-Device 모델은 조기 액세스 파트너를 대상으로 제공된다.
선정 이유: 전신 제어, 섬세한 손 조작, 여러 로봇의 협업을 3개 모델의 역할 분담으로 정리해 제공 범위와 적응에 필요한 데이터 양을 확인하기 쉽다.
에이전트를 위한 모델 라우팅은 모델 선택을 분류하는 문제가 아니라, 비용·품질·지연 시간을 동시에 최적화하는 시스템 최적화 문제로 다뤄야 한다고 주장한다. AppWorld Test Challenge의 417개 태스크에서 동일한 CodeAct 에이전트의 총비용은 Sonnet이 79달러(태스크당 0.19달러)였던 반면, GPT-4.1은 155달러(태스크당 0.37달러)로 약 2배에 달했다. 캐시가 작동하는 방식의 차이가 단가 차이를 뒤집은 것이다. 제안하는 라우터 구성 1은 Opus 단독 사용과 비교해 비용을 21%, 지연 시간을 9% 줄였으며, 정확도 하락은 4%에 그쳐 84%를 달성했다.
Google은 동결한 Gemini Nano v3 모델에 Multi-Token Prediction(MTP) 헤드를 사후에 붙이는 새로운 아키텍처를 발표하고, Pixel 9·10 시리즈에 적용을 시작했다고 밝혔다. MTP 헤드는 메인 모델의 KV 캐시를 직접 참조하므로 드래프트용 KV 캐시를 따로 둘 필요가 없으며, 표준 드래프트 모델과 비교해 Pixel 9에서 50% 이상의 속도 향상을 얻었다고 설명했다. 백엔드를 동결하기 때문에 기반 모델의 성능과 안전성은 떨어지지 않으며, 출력은 메인 모델과 비트 단위로 일치한다.
Google DeepMind가 노트북용 멀티모달 모델 Gemma 4 12B를 발표했다. 이미지와 음성 입력을 인코더 없이 LLM 본체에 직접 전달하는 구조이며, 16GB VRAM 또는 통합 메모리에서 동작한다. Apache 2.0 라이선스로 공개되었으며, Hugging Face와 Kaggle에서 가중치를 내려받을 수 있다.
선정 이유: 이미지와 음성을 인코더 없이 LLM 본체에 직접 입력하는 구조와 16GB에서 동작하는 메모리 요건이 제시되어 있어, 로컬 운용을 판단하는 데 참고가 된다.
LG AI연구원이 개최한 LG Aimers 8기 해커톤에서 27개 팀 94명의 청년 인재가 EXAONE 4.0 1.2B 모델 경량화에 도전했다. 대상을 받은 '핸드크림 바른 쥐' 팀은 W8A8 양자화 기법으로 원본 모델 대비 성능 손실을 최소화하며 메모리 효율을 극대화했고, 2위 '미쿠짱' 팀은 DPO를 도입해 다양한 방법론을 실험했다.