미시간대학교 Ang Chen 연구팀이 클라우드 운영 DevOps 작업에서 AI 에이전트를 평가하는 오픈소스 벤치마크 'CloudOpsBench' v1.0을 공개했으며, 최상위 모델도 다수의 작업에서 실패한다고 보고했다. 가장 우수한 Claude Fable 5.1은 AWS 과제의 60%를 해결했고, GPT-6 Astra는 53%였다. 실패의 약 80%는 작업 범위의 잘못된 판단, 관련 서비스 확인 누락, 조기 종료 등 추론상의 문제에서 비롯됐으며, 잘못된 조작은 약 20%였다.
OpenAI는 프런티어 모델의 정렬 실패(미스얼라인먼트)를 탐지하는 사내 모니터링 시스템의 구성과 운영 방식을 공개했다. Hugging Face 사고를 재현한 시뮬레이션에서는 에이전트가 샌드박스를 벗어난 뒤 약 30분 만에 보안팀에 경고가 전달됐으며, 이는 실제 침해보다 30시간 이상 앞선 시점이었다고 한다. 모니터링은 학습, 평가, 사내 활용, 외부 배포 단계로 확대되고 있다.
선정 이유: 다층 감시 구성, 탐지까지 걸리는 시간, 평가 및 레드팀 훈련 방법이 구체적으로 적혀 있어 에이전트 감시 설계를 검토할 때 비교 자료로 활용할 수 있다.
OSWAM은 자율주행과 신체성(embodied) 제어에서 확산 과정의 디노이징을 1단계로 수행해 행동을 생성하는 World Action Model이다. imagination tokens로 확산 과정을 초기화하고, 미래 조건부 특권 정보 증류(privileged information distillation)를 통해 행동 생성을 단일 디노이징 단계로 집약한다. 수십 단계가 필요한 direct-policy WAM 및 Joint-WAM과 동등 이상의 결과를 보였으며, direct-policy WAM 베이스라인보다 약 3배 빠르고, NVIDIA RTX 5090 GPU에서 최소 40ms 지연 시간으로 동작한다고 보고됐다.
Google Cloud는 자가 진화형 AI 에이전트의 연구용 레퍼런스 아키텍처 'Project Chrysalis'를 공개했다고 밝혔다. Gemini platform과 Agent Development Kit(ADK) 위에서 동작하며, 모의한 Black Friday 캐시 고갈 장애에서 최초 완화까지 걸리는 시간이 15~45분에서 1.8초로, HTTP 5xx 오류율이 72.7%~80.0%에서 0.0%로 개선됐다고 설명했다.
SolarRenderer는 동결된 MiniMax-H3 33B 백본에 두 개의 경량 LoRA를 결합해, 구조 입력으로부터 사실적인 동영상을 4단계만에 렌더링하는 기법이다. 50단계 샘플링보다 12.3배 빠른 것으로 알려졌다. 블록 인과형 파생 버전은 스트리밍을 지원해 768p 동영상을 실시간으로 렌더링할 수 있다. 프레임 정렬이 된 136K 클립 데이터로 학습했으며, 동일 분포의 테스트셋과 16종류의 구조 표현을 사용한 벤치마크에서 최고 수준의 결과를 보였다. 또한 포즈 스켈레톤, 드로잉, 포인트 클라우드 등 학습에 쓰이지 않은 11가지 표현에도 일반화되는 것으로 나타났다.
i14는 선형 어텐션 모델 Laplace 3B를 AWS Trainium2에서 네이티브 PyTorch를 사용해 학습하고 서비스했다. 재귀 상태는 컨텍스트 길이와 관계없이 시퀀스당 29.5 MB로 고정된다. trn2.48xlarge 인스턴스 1대에서의 학습 처리량은 약 120,000 토큰/초였으며, 1,280개의 동시 시퀀스에서의 추론 출력은 11,544 토큰/초였다.
Specter는 양자화된 추측 디코딩과 expert offloading을 결합해 단일 GPU에서 MoE 모델 추론을 가속하는 추론 시스템이다. 단일 요청 추론에서 최신 시스템과 비교해 TPOT가 평균 1.50배(최대 1.88배) 향상된 것으로 보고됐다. 메모리가 제한된 단일 GPU 환경에서 일반적인 하드웨어 기반 MoE 추론을 보다 실용적으로 만드는 것이 목표다.
Google 팀이 Ai2의 Olmo 3 7B를 MaxText 기반 Google Cloud TPU에서 1단계 사전학습과 2단계 mid-training annealing까지 재현했다. 홀드아웃 C4 손실과 8개 태스크 정확도는 Ai2의 참조 실행과 거의 동등했으며, 실행 간 노이즈 범위 내라고 보고했다. Ironwood에서는 44.5% MFU, v5p에서는 57.4% MFU를 기록했다.
Sparse VideoGen(SVG)의 공간·시간 마스크로 얻는 이론상의 스파스성을 TPU에서 실제 엔드투엔드 고속화로 연결하는 기법을 해설한다. 81프레임 720p 동영상의 시퀀스 길이는 인기 오픈소스 동영상 생성 모델에서 50K에서 400K에 이르며, 720p에서 1440p로 해상도를 높이면 단일 레이어 Attention의 지연 시간이 차지하는 비중은 55.5%에서 88.2%로 증가한다. 스파스 버전은 단일 TPU v6e에서 커널을 측정한 결과 쿼리·키 쌍의 약 38.87%만 보존하여 계산한다.
SpecAgent는 소형 Weak 모델이 행동 궤적을 초안으로 작성하면, 대형 Strong 모델이 한 번의 prefill 패스로 해당 구간을 검토해 Strong 모델의 디코딩 대부분을 prefill로 대체하는 도구 사용 에이전트용 기법이다.
BizBench는 결제 기업의 실제 업무 절차를 바탕으로, 장기간 과업을 수행하는 에이전트의 중간 실행이 타당한지 평가하는 멀티턴 방식의 벤치마크다. 프런티어 모델도 목표를 부분적으로 달성하는 데 비해 제약 위반이 많아, Claude Opus 5와 GPT-6 Sol의 엄격한 성공률은 각각 64.0%, 61.3%에 그쳤다. Qwen3.8-27B는 목표 달성률이 42.0%이지만 엄격한 성공률은 32.7%로 떨어져, 결과만 평가하면 무효한 실행이 드러나지 않음을 보여준다.
Google Research가 중거리 물류(middle-mile logistics) 문제를 위한 현실적인 벤치마크를 만드는 C++ 기반 인스턴스 생성 도구 「MilleMiglia」를 발표했다. 물류 기업들이 네트워크 구성과 수요량을 기밀로 취급해 왔기 때문에 공개 데이터가 부족했으나, 이 도구는 프라이버시를 고려한 데이터를 생성할 수 있다. 소스 코드와 문서는 GitHub에서 공개되어 있다.
Multiverse Computing은 압축과 양자화를 거친 모델을 회복하는 Quantization-Aware Healing(QAH)을 제안했다. GPT-OSS 120B를 60B로 압축해 MXFP4로 만든 모델이 자체 bfloat16 버전을 9개 벤치마크 중 7개에서 상회했다. 압축 전 원본 모델을 교사로 삼아 KL 발산으로 증류한다는 점이 특징이다.
Google Research는 페이지 축출을 ski rental 문제로 보고, 경량 머신러닝으로 캐시 크기를 동적으로 조정하는 「linear elastic caching」을 발표했다. Spanner 프로덕션 환경에서 수개월간 운영한 결과, 고정 크기 캐시와 비교해 메모리 사용량은 15.5% 감소했고, 캐시 미스는 5.5% 증가에 그쳤으며, TCO는 약 5% 절감됐다. TTL 예측에는 몇 줄의 C++ 코드로 변환할 수 있는 얕은 결정 트리를 사용한다.
구글은 제로 트러스트 원칙에 따라 암호 기술을 이용한 안전한 집계와 TEE(신뢰 실행 환경)를 결합한 새로운 프라이빗 분석 체계를 도입했다고 밝혔다. 새로운 암호 프로토콜은 단말이 한 번의 메시지로 정보를 보낼 수 있어, 여러 라운드에 걸쳐 단말을 온라인 상태로 유지할 필요가 없다. TEE의 어테스테이션을 통해 참가자는 공개된 코드가 의도대로 실행되고 있는지 검증할 수 있다.
