VibeGame은 자연어 프롬프트로 완전한 2D 게임을 구축하는 프레임워크로, AI 네이티브 엔진과 8개의 전문 에이전트로 구성된 Adversarial Agent Team을 활용한다. GameCraft-Bench 하위 집합에서는 에이전트가 직접 아트를 생성하는 P2G 방식의 VibeGame이 동일한 기반 모델(GPT-6.1-Sol 포함)을 사용한 각종 에이전트 하네스를 일관되게 앞섰다. 완성된 프로젝트는 학습 없이 자기 진화하는 메커니즘을 통해 재사용 가능한 스켈레톤, 모듈, 협업 계약으로 증류된다.
NVIDIA는 기업 데이터베이스에서 추가 학습 없이 예측할 수 있는 사전 학습된 관계형 기반 모델 Kumo Relational을 공개했다. 최대 10,000건의 과거 사례를 컨텍스트로 읽어 들여, 한 번의 포워드 패스로 이탈, 수요, 부정 거래 등을 예측한다. 15개 데이터베이스에 걸친 41개 과제에서 지도 학습 모델과 전문가가 설계한 그래디언트 부스팅 트리 파이프라인을 능가했다고 밝혔다.
선정 이유: 관계형 데이터를 위한 기반 모델의 구조, 벤치마크 결과, 한계, 활용 방법이 한 흐름으로 정리되어 있어 기존 예측 파이프라인과 비교하는 자료로 쓸 만하다.
Hugging Face의 SimReady Central Library는 로보틱스와 AI 팩토리 시뮬레이션에 활용할 수 있는 OpenUSD 형식 3D 에셋 2,000종 이상을 모은 무료 이용 라이브러리다. 로봇 암, 그리퍼, 창고 설비, 랙, 냉각 설비 등이 포함되며, 개발자는 각 에셋의 지원 기능을 확인해 서로 다른 공급업체의 에셋을 조합할 수 있다. 장비 제조사(OEM)는 자사 에셋을 SimReady 요건에 따라 검증하고 이 라이브러리를 통해 제공할 수 있다.
NVIDIA는 GTC Berlin에서 RTX Spark, DGX Spark, DGX Station 등 로컬 AI 하드웨어 관련 업데이트를 발표했다. DGX Spark 64GB는 10월 23일 출시되며, DGX Station for Windows는 12월에 나온다. 로컬용 코딩 모델 Recursive Flint, 신규 모델의 Day-0 지원, llama.cpp와 vLLM의 가속 기능도 포함됐다.
NVIDIA는 언어, 로보틱스, 생물, 양자 분야에서 오픈 모델을 확충하며 Nemotron 3.5 Super VL, Nemotron 3.5 Bolt, Kumo, Cosmos 3.5, Alpamayo 2 Edge, BioNeMo, Ising 등을 발표했다. 회사는 이를 각 지역의 언어와 산업에 맞는 애플리케이션을 자사 데이터로 커스터마이즈하고, 관리하는 인프라에 배포할 수 있는 기반으로 자리매김하고 있다. 대부분은 Hugging Face, GitHub, build.nvidia.com을 통해 제공된다.
S-Agent 2.0은 영속적인 장면 메모리와 평이한 공간 언어 해석을 3D 인지 도구를 갖춘 범용 코딩 에이전트에 결합해 공간 추론을 개선한 기법이다. 오픈소스 Qwen3.8-27B를 백본으로 한 MMSI-Bench에서는 66.5, ReVSI에서는 82.3을 기록해, 같은 백본의 전문 시스템 SpatialClaw(62.6, 74.5)를 웃돌았다. Gemini-3.8-Flash에서는 MMSI-Bench 74.1, ReVSI 90.5에 도달했다.
Video-Point Model(VPM)은 멀티뷰 영상의 과거 기록과 언어 지시로부터 임의의 시점에서의 미래 영상과 3D 점 궤적을 동시에 예측하는 세계 모델이다. 사전 학습된 세계 모델을 확장하고 궤적 헤드로 점의 시간적 움직임을 예측하도록 한 결과, 영상만 사용하는 모델보다 영상의 충실도와 3D 운동 정확도가 높아졌다고 보고됐다. 또한 로봇 행동을 토큰으로 추가한 모델은 시뮬레이션과 실기기 모두에서 조작 성공률이 향상된 것으로 알려졌다.
SolarRenderer는 동결된 MiniMax-H3 33B 백본에 두 개의 경량 LoRA를 결합해, 구조 입력으로부터 사실적인 동영상을 4단계만에 렌더링하는 기법이다. 50단계 샘플링보다 12.3배 빠른 것으로 알려졌다. 블록 인과형 파생 버전은 스트리밍을 지원해 768p 동영상을 실시간으로 렌더링할 수 있다. 프레임 정렬이 된 136K 클립 데이터로 학습했으며, 동일 분포의 테스트셋과 16종류의 구조 표현을 사용한 벤치마크에서 최고 수준의 결과를 보였다. 또한 포즈 스켈레톤, 드로잉, 포인트 클라우드 등 학습에 쓰이지 않은 11가지 표현에도 일반화되는 것으로 나타났다.
Hugging Face의 Clem Delangue CEO는 Netflix 다큐멘터리 「AI Gone Rogue」의 내용이 부정확하다고 지적했다. 그는 기술을 지나치게 의인화하고 종말론적으로 묘사한 점을 비판했다. 저널리즘으로서는 실망스럽지만 SF 영화로서는 재미있다는 평가다. 그에 따르면 방송은 에이전트의 격리와 감시의 허점, 그리고 클로즈드 모델의 안전장치가 방어 작업을 방해한 점을 다루지 않았다.
LaLa-World는 시뮬레이션, 로봇, 이미지·동영상 데이터를 하나의 예측기로 학습하는 언어 조건부 잠재 세계 모델이다. RAEv2 기반 동영상 생성 모델과 비교한 결과, 동등한 MPC 계획 성능을 6분의 1 적은 학습 비용과 13.9배 빠른 계획 속도로 달성했다. 사전 학습된 LaLa-World를 초기값으로 삼은 LaLa-Policy는 LIBERO와 RoboCasa에서 Cosmos Policy와 경쟁하며, 추론은 최대 5.5배 빠르다.
LLM 에이전트는 여러 기밀 문서에서 얻은 정보를 결합해 기밀성이 높은 결론을 공개하는 경우가 있다(모자이크 효과). 합성 사례 30건으로 한 평가에서는 최고 성능인 GPT-5.6-Sol조차 단일 문서로 답할 수 있는 질문의 7.08%에서 금지된 결론을 공개했다. 분류 헤더와 집약 규칙을 추가해도 시뮬레이션 답변의 32.37%에서 안전하지 않은 공개가 남았다.
구글이 PyTorch 앱을 TPU에서 실행할 수 있는 TorchTPU를 오픈소스로 공개했다. 설정만 바꾸면 기존 앱을 옮길 수 있고 코드를 다시 쓸 필요가 없다고 한다. 아마존도 전날 TorchNeuron을 공개해, 두 회사 모두 NVIDIA 의존도를 낮추려는 움직임을 이어가고 있다.
Anthropic은 AI 에이전트가 물리 기기를 안전하게 조작하기 위한 공통 사양인 Model Hardware Standard(MHS)의 리서치 프리뷰를 연구실과 첨단 제조 기업을 대상으로 한 1차 참여자에게 공개했다. 현미경, 액체 핸들러, 로봇 팔 등 여러 기기를 동시에 조작할 수 있으며, 기기 통합 작업을 수 주에서 수 개월이 걸리던 것을 몇 시간에서 몇 분으로 줄일 수 있다고 밝혔다. 오픈소스화에 앞서 안전성 평가와 모범 사례를 함께 구축한다.
선정 이유: 드라이버, 참조 파일, MCP 등 연결 구조와 여러 기관의 초기 사례가 함께 제시되어 있어 물리 기기에 에이전트를 적용하는 현황을 파악하기 좋다.
Ai2가 LLM 의사결정에서 속성별 공정성을 최종 선택뿐 아니라 판단의 흔들림 정도까지 측정하는 벤치마크 FairStress를 공개했다. 300개 시나리오와 속성·설득문 조합으로 1300만 건이 넘는 테스트 케이스를 갖추고 있으며, Olmo-eval에도 포함한다. Olmo, Llama, Qwen, Gemma, Claude, GPT 등에서 같은 설득문이라도 유리해지는 속성에 따라 판단이 바뀌는 정도가 다른 경향을 확인했다.
Hugging Face는 네이티브 PyTorch 백엔드 TorchTPU를 통해 Transformers, Diffusers, Kernels가 TPU에서 그대로 동작한다고 발표했다. `device_map="tpu"`나 `pipe.to("tpu")`를 지정하기만 하면 사용할 수 있으며, `pip install torch-tpu --extra-index-url https://download.pytorch.org/whl/cpu`로 설치할 수 있다.
선정 이유: TPU를 장치 지정만으로 사용하는 절차와 배치 64에서의 가속 수치, CI 통과율을 함께 제시하고 있어 도입 가능 여부를 판단하기 쉽다.
ALTK-Evolve는 GPT-4.1로 학습한 가이드라인을 기본 ReAct 에이전트의 시스템 프롬프트에 추가하는 방식으로, 모델 가중치를 갱신하지 않고도 τ²-bench 소매 도메인에서 Pass^4 67.5%를 달성했다. 이는 2026년 10월 12일 시점 리더보드에 있는 소매 부문 전체 항목을 웃도는 수치다. 항공 도메인에서도 평균 정확도가 57.5%에서 65.0%로 향상되었다.
Manga2Animate는 크리에이터 역할과 리뷰 역할의 에이전트를 짝지은 멀티 에이전트 프레임워크로, 만화 컷으로부터 애니메이션 스크립트와 시각적 콘티를 만들어 원작에 대한 충실성과 일관성을 높인다. 기존 방식은 만화를 텍스트 중심으로 다루거나 페이지를 영상 생성 모델에 직접 입력하기 때문에 캐릭터와 화풍이 사라지거나 이야기 구조를 잘못 이해하는 문제가 있다고 한다. 논문은 사용자 연구와 폭넓은 실험을 통해 최첨단 기법보다 원작에 충실하고 컷 사이의 일관성이 높은 애니메이션을 생성했다고 보고했다.
AdaExploreBench는 LLM 에이전트가 숨겨진 환경 규칙을 능동적으로 발견하고, 통보 없이 변하는 규칙에 적응할 수 있는지 평가하는 벤치마크다. 8개 LLM을 대상으로 한 실험에서 GPT-6 Sol조차 보정 정확도가 61.9%에 그쳤으며, 충분한 증거를 제공하거나 규칙 드리프트를 제거하면 평균 성능이 약 10% 향상됐다. 에이전트는 유용한 증거가 주어지면 추론할 수 있지만, 적절한 증거를 능동적으로 확보하거나 이전 지식이 더 이상 유효하지 않다는 사실을 인식하는 데에는 어려움을 겪는 것으로 나타났다.
미 육군 사이버사령부(ARCYBER)가 AI 에이전트를 자율적으로 움직이는 공격용 소프트웨어로 만드는 플랫폼 'ECHOTRIBBLE'을 개발하고 있다고 The Intercept가 입수한 문서를 통해 드러났다. 컴퓨터 웜처럼 네트워크 안을 이동하며 표적을 '무력화'하고, 임무 종료 후에는 스스로 소멸하도록 설계됐다. 전문가들은 부수적 피해를 통제하기가 극도로 어렵다고 경고한다.
Hugging Face가 Apple Foundation Models 프레임워크를 대체할 수 있는 AnyLanguageModel 1.0을 공개했다. swift-huggingface 1.0과 swift-xet 1.0도 함께 릴리스했다. import를 `import AnyLanguageModel`로 바꾸기만 하면 시스템 모델, llama.cpp, MLX, Core ML, 각종 호스팅형 제공업체를 같은 코드로 다룰 수 있다.
Hugging Face의 PyTorch 팀은 PyTorch 2.15의 MPS 백엔드에서 FP8을 지원하고, LLM 디코딩을 가속하며, Metal 커널로의 전환을 진행했다고 발표했다. M3 Ultra에서는 Qwen3.6-35B-A3B가 2.14의 9.4토큰/초에서 61.3토큰/초로 향상됐다. Wan2.2의 비디오 VAE 디코딩에서는 드라이버 메모리 피크가 270 GiB에서 8 GiB로 떨어졌다.
선정 이유: MPS 백엔드의 변경 사항을 MoE 모델의 토큰/초, 메모리 사용량, 필요 환경 수치로 구체적으로 확인할 수 있어 Mac에서의 활용 여부를 판단하는 데 도움이 된다.
RoboValue는 로봇 가치 모델을 시뮬레이션과 실제 로봇 양쪽에서 통합적으로 평가하는 벤치마크다. 작업 상태 이해, 시간에 따른 진행 추적, 실패로부터의 회복 추론, 가치 일관성 등 4가지 능력을 평가하며, 시뮬레이션 15개 작업과 실제 로봇 20개 작업의 조작 데이터셋을 포함한다. 대표적인 모델들은 성과나 전진 진행도 점수가 높았지만, 세부 지시 파악, 이력에 의존하는 진행 추적, 회복 평가에서 오류를 보였다고 한다.
SpecMRL은 학습된 스펙트럼 기저로 특징 공간을 재편성하여 압축된 임베딩의 품질을 높이는 기법이다. MTEB 실험에서는 평가한 모든 축소 차원에서 표준 MRL(Matryoshka Representation Learning)을 능가했으며, 압축률이 높을수록 그 차이가 커졌다. 임베딩 차원이 절반이어도 전체 차원의 MRL을 능가하는 결과를 보였다.
연구진은 월드 모델이 알려진 상태와 행동을 본 적 없는 조합으로 재결합했을 때 그 동역학을 일반화할 수 있는지 평가하는 벤치마크 'AnyGoal'을 제안했다. 여러 환경과 월드 모델 계열에서 검증한 결과, 현행 모델은 이 재결합 조건에서 일관되게 실패하는 것으로 나타났다. 아울러 벤치마크의 과제 세트와 오픈소스 라이브러리도 함께 공개됐다.
이미 도입된 로봇들이 실행 경험을 공유해 공통 정책을 개선하는 학습 패러다임 '집합적 경험 학습(CEL)'을 제안한다. 실패 시의 문맥에서 공유된 성공 경험으로부터 관련 궤적을 검색하고, 그 행동을 교사 신호로 삼아 정책을 갱신하는 FERT를 통해 추가 전문가 수정 없이 5개의 실제 환경 조작 과제에서 93.3~99.2%의 성공률을 달성했다. 다단계 전화기 포장 과제에서는 96대의 로봇이 학습한 결과 성공률이 79.2%에서 98.3%로 향상됐다.
OpenVLHarness는 능력 레이어와 영속적인 멀티모달 메모리를 결합한 추론 하네스로, MLLM이 이종 도구에서 얻은 시각적 증거를 검색하고, 검사하고, 합성하면서 추론할 수 있도록 한다. 22개 벤치마크와 8개 백본으로 평가했으며, 도구를 사용하지 않는 베이스라인에 비해 평균 점수를 9.7~12.6포인트 끌어올렸다. GPT-6 Luna(medium 추론 강도)는 최대 강도의 기반 모델, Codex, Visual Sketchpad보다 7.7~8.5포인트 높았으며, 모델 토큰 비용은 최대 37%에 그쳤다.
Hugging Face의 Irene Solaiman 수석 정책 책임자는 AI 연구소들이 도입을 확대하고 있는 제3자 내장형 평가자가 간단한 해법이 되지는 않는다고 지적했다. 벤치마크 방법은 아직 성숙 단계에 있으며, 결과를 재현할 수 있는지는 모델 접근성, 특히 오픈 웨이트가 관건이라고 밝혔다. 평가 대상도 모델 단체에서 하네스와 에이전트를 포함한 시스템 전체로 넓어지고 있지만, 에이전트 평가는 어렵고 비용이 많이 들며 하네스를 대상으로 한 평가는 적다고 덧붙였다.
Amazon SageMaker AI의 신규 고객은 Google, GitHub, Apple, Amazon 계정 또는 이메일 주소로 2~3단계의 가입 절차만 거치면 설정이 완료된 SageMaker Studio 환경을 이용할 수 있게 됐다. 신규 고객에게는 $100의 AWS 프리 티어 크레딧이 제공되며, 추가로 $100을 더 받을 기회도 있다. 기존 AWS 계정의 로그인 방식은 변경되지 않았다.
아마존은 PyTorch 코드를 수정하지 않고 AWS Trainium 칩에서 실행할 수 있는 TorchNeuron을 발표했다. 설정 변경만으로 동작하며 Trainium2와 Trainium3를 지원한다. 10월 20일 PyTorch Conference North America에서 Apache 2.0 라이선스의 오픈소스로 공개될 예정이다.
OvisOCR3는 문서 분석, 일반 OCR, 핵심 정보 추출, 문서 도표 캡션 생성, 페이지를 넘나드는 표 재구성을 단일 모델로 수행하는 0.8B 시각언어 모델이다. OmniDocBench v1.6에서 종합 점수 96.74를 기록했으며, OCRBench v2에서는 영어 65.9, 중국어 61.3으로 1위를 차지했다. 5개의 4B 교사 모델로부터의 다중 교사 증류와 이후의 강화학습으로 학습되었다.
AgenticRoboRL은 로봇의 플래너를 지도 파인튜닝과 다단계 강화학습으로 사후 학습하는 프레임워크로, LIBERO-PRO에서 9B 파라미터 플래너의 성공률을 외부 메모리 없이 18.1%에서 71.0%로 끌어올렸다. 외부 메모리를 사용하는 Codex(GPT-5.5)의 72.1%에 근접한 수준이다. 프레임워크와 학습된 플래너의 체크포인트는 공개될 예정이다.
가상 세계의 체화형 에이전트는 지속적 사전학습에서 데이터량, 다양성, 모델 규모를 늘릴수록 학습 성능이 향상되지만, 멀리 떨어진 세계로의 일반화에는 한계가 있는 것으로 나타났다. 검증에는 0.8B부터 27B까지 4가지 모델 크기, 50시간부터 1,600시간까지의 데이터량, Minecraft만 사용한 데이터부터 다양한 멀티월드까지 5종의 혼합 데이터로 구성된 120개의 학습 설정이 활용됐다. 3D 세계에서는 Minecraft 전용 모델 및 프런티어 모델과 경쟁했으며, 실시간 설정에서 가장 높은 성능을 보였다.
StreamEval은 인터랙티브 스트리밍 동영상 생성 모델을 5개 과제로 평가하는 통합 벤치마크다. 300개의 대본 기반 테스트 케이스(15~300초)로 37개 모델을 평가한 결과, 시각적 품질이 높아도 요청을 확실하게 수행하는 것과 상태의 일관성을 유지하는 것은 여전히 과제인 것으로 나타났다. 요청 수행 최고 점수는 아바타 연기 모델 7종의 Following에서 36.90, 텍스트 조건부 월드 생성의 Following에서 25.93, 참조 편집 모델 3종의 Edit Success에서 15.00에 그쳤다.
RLSplat는 가우시안 개수의 예산에 따라 표현 크기, 추론 지연, 최대 메모리가 선형으로 감소하는 피드포워드 3D 가우시안 스플래팅 프레임워크다. 밀집한 가우시안을 가지치기하지 않고, 국소 영역에 예산을 배분하는 정책을 학습해 필요한 개수를 직접 생성하며, 계층적 근방 탐색을 활용한 선형 비용의 디코딩으로 정밀도를 높인다. 제로샷 평가에서는 모든 예산에서 기존 예산 제어 기법을 웃돌았으며, 저예산 시 최대 4.1배 빠르고 최대 메모리는 9.6배 적은 것으로 보고됐다.
Code2Video-Compass는 텍스트·이미지·동영상을 입력으로 하는 코드 기반 동영상 생성을 평가하는 범용 벤치마크로, T2V, I2V, V2V 세 가지 설정을 지원한다. 10개 카테고리, 24개 서브타입, 3가지 복잡성 차원으로 구성된 2,104개의 과제를 포함하며, 객관 지표 12종과 주관 지표 5종으로 평가한다. 9개 계열의 독점 및 오픈 웨이트 MLLM 15종을 평가한 결과, 최상위 모델도 고품질 동영상을 안정적으로 생성하기는 어려웠으며, 구성·동적 애니메이션·상태 의존적 복잡성이 높아질수록 성능이 떨어지는 경향이 나타났다.
TorchNeuron은 AWS Trainium용 새로운 네이티브 백엔드를 제공하는 PyTorch 플러그인으로, Transformers, Diffusers, Kernels가 이를 네이티브로 지원한다. Transformers의 텍스트 생성에서는 사용 빈도가 높은 상위 100개 텍스트 생성 모델 아키텍처 중 89%가 별도 수정 없이 동작하며, 이는 Optimum Neuron v0.4.5의 46%에서 크게 확대된 수치다.
Hugging Face@huggingfaceAI 점수3333Local AI 202: 투기적 디코딩으로 대폭적인 고속화 실현 https://x.com/i/broadcasts/1NGaroZveLVJj
Google은 AI 에이전트가 LLM의 사후 학습을 자율적으로 반복 실행하는 「autofinetune」을 개발했다고 밝혔다. Tunix, Gemma, Cloud TPU를 Antigravity CLI 및 Gemini Flash 3.7과 통합한 구성이다. SFT의 FunctionGemma 실험에서는 TPU v5e-1에서 약 2시간 동안 20회의 자동 실험을 수행해 함수 호출 생성의 정확도를 높였다. GRPO로 Gemma 3 1B를 학습시킨 실험에서는 40회의 실험을 2~3일에 걸쳐 진행했고, 총 보상이 약 10% 향상됐다.
Google은 Gemma 4를 기반으로 한 Apache 2.0 라이선스 오픈 모델 EmbeddingGemma 2를 공개했다. 텍스트, 코드, 이미지, 동영상, 오디오를 768차원 공통 벡터 공간으로 변환하며, 270M부터 740M 파라미터까지 필요한 인코더만 불러올 수 있다. MTEB (Code)에서는 EmbeddingGemma 1보다 14% 높은 점수를 기록했다.
선정 이유: 모듈식 인코더와 차원 축소 선택 방법이 수치와 함께 정리되어 있어, 자체 검색 기반의 구성을 검토할 때 비교 자료로 활용할 수 있다.
Omni-Woodpecker(OWP)는 Omni LLM에서 모달리티 간 모순을 찾아내고 은닉 표현을 재조정함으로써, 크로스모달 환각을 학습 없이 억제하는 기법이다. 백본으로 Qwen2.5-Omni-7B를 사용했을 때 CMM과 AVHBench에서의 향상 폭은 각각 12.9포인트와 8.6포인트였으며, 범용 추론 벤치마크 4종에서는 0.67~2.25포인트 향상되었다. VideoLLaMA2-AV에도 적용할 수 있었고, 같은 벤치마크에서 각각 4.6포인트와 3.9포인트 개선되었다. 코드는 공개되어 있다.