미시간대학교 Ang Chen 연구팀이 클라우드 운영 DevOps 작업에서 AI 에이전트를 평가하는 오픈소스 벤치마크 'CloudOpsBench' v1.0을 공개했으며, 최상위 모델도 다수의 작업에서 실패한다고 보고했다. 가장 우수한 Claude Fable 5.1은 AWS 과제의 60%를 해결했고, GPT-6 Astra는 53%였다. 실패의 약 80%는 작업 범위의 잘못된 판단, 관련 서비스 확인 누락, 조기 종료 등 추론상의 문제에서 비롯됐으며, 잘못된 조작은 약 20%였다.
Anthropic은 zkSNARK를 활용해 AI 응답이 주장된 모델에서 생성되었는지 검증하는 연구 프로토타입 FlashProve를 공개했다. Llama 4 Maverick(400B) 기준으로 단일 H100 GPU에서 초당 약 110토큰의 증명을 생성하며, 증명 크기는 약 19MB이고 표준 CPU에서 17초 만에 검증할 수 있다. 다만 컨텍스트는 1,024토큰까지로 제한된다.
연구자들은 GPT-6 Astra가 다른 AI 모델의 가중치를 직접 읽고 다시 쓰는 기법 「Weight-Space Programming」을 보고했다. Qwen3.5-0.8B에서는 전체 가중치의 0.016%만 변경했을 뿐인데 MATH-500 정확도가 7.9%에서 48.1%로 향상됐다. 반면 Gemma 3 270M에서는 개선이 나타나지 않았다.
Anthropic은 특정 AI 모델이 생성한 출력임을 암호학적으로 증명하는 오픈소스 시스템 'FlashProve'를 개발 중이다. 모델의 가중치를 공개하지 않고 '핑거프린트'를 공개하는 방식으로, 상용 모델에도 적용할 수 있다고 한다. 기술 사양과 구현 코드는 GitHub에 공개되어 있으나, 연구는 아직 진행 중이며 Anthropic이나 다른 연구소에서의 도입 계획은 없다.
Anthropic@AnthropicAIAI 점수3838OpenAI는 수학, 계산기 과학, 물리 분야에서 3건의 "major" 성과를 발표했다. 계산기 과학에서는 Exponential Time Hypothesis(ETH)가 거짓이라는 증명을 제시했으며, Russell Impagliazzo, Ramamohan Paturi, Ryan Williams의 작업 그룹이 이를 검증한다. 성과는 GitHub에 공개되었고, 외부 전문가가 "shepherds"로 참여하는 점이 10월 6일의 대량 공개와 다른 점이다.
선정 이유: 외부 전문가가 검증을 주도하는 새로운 공개 방식과, AGMAI panel이 전날 제시한 권고 사이의 차이가 나란히 정리되어 있다.
OpenAI는 조화해석, 계산 복잡도, 양자장론 분야에서 새로운 발견 3건을 발표했다. 모델은 국소 평활화 추측(local smoothing conjecture)을 모든 차원에서 증명했고, 지수 시간 가설(ETH)이 틀렸음을 보였으며, QCD 등에 대한 존재 증명도 생성했다. OpenAI는 이번 성과를 원자료(raw research data)로 규정하고, 외부 전문가가 주도하는 공동 연구 그룹을 통해 이해를 넓혀 갈 계획이라고 밝혔다.
선정 이유: AI가 내놓은 수학·컴퓨터 과학·물리학 성과를 외부 전문가의 협력으로 검증하고 이해로 이어가는 공개 방식이 세 가지 형태로 구체적으로 제시되어 있다.
Specter는 양자화된 추측 디코딩과 expert offloading을 결합해 단일 GPU에서 MoE 모델 추론을 가속하는 추론 시스템이다. 단일 요청 추론에서 최신 시스템과 비교해 TPOT가 평균 1.50배(최대 1.88배) 향상된 것으로 보고됐다. 메모리가 제한된 단일 GPU 환경에서 일반적인 하드웨어 기반 MoE 추론을 보다 실용적으로 만드는 것이 목표다.
ReTrace는 computer-use agent의 복구 행동을 평가하기 위한 프레임워크다. 목표 지향 액션 리플레이와 통제된 오류 주입을 통해 전이 일관성 복구(Transition-Consistent Recovery)를 평가한다. 모델의 자율적 복구를 처음으로 체계적으로 조사했으며, 현행 에이전트는 잠재적 복구 능력을 제대로 활용하지 못하고 있으며 정확한 모델 기반 복구는 엔드투엔드 성능 향상으로 이어진다고 보고했다.
VLA-Δ는 현재와 미래 관측 사이의 물리적 상태 전이를 명시적인 학습 목표로 삼아 로봇 제어를 개선하는 범용 프레임워크다. LIBERO와 RoboTwin 벤치마크에서 최첨단 기법에 필적하는 성능을 보였으며, 실기 실험에서는 π0.5를 웃돌았다. 추론 시에는 현재 관측으로부터 행동을 직접 생성하며, 추가적인 추론 비용은 발생하지 않는다고 한다.
LiveMACEBench는 실시간 금융 시장에서 지속형 LLM 에이전트를 평가하는, 의사결정 트레이스를 활용한 과정 중심 벤치마크다. 5개 프런티어 LLM을 30일간 평가한 결과, 실현 수익이 능력별 측정치와 어긋나는 '성과와 능력의 격차'가 나타났다. 의사결정 트레이스에 기반한 진단에서는 능력마다 서로 다른 병목이 드러났다.
OpenAI는 사내 프런티어 모델을 활용한 수학 미해결 문제의 새로운 성과를 공표했다. Lean을 이용한 증명의 형식화와 연구의 세부 내용은 GitHub에서 공유하고 있다.
Google Research는 표 형식 데이터의 분류와 회귀를 제로샷으로 수행하는 기반 모델 TabFM을 발표했다. 문맥 내 학습을 통해 모델 학습, 하이퍼파라미터 조정, 특성 엔지니어링 없이 한 번의 순전파로 예측할 수 있다. Hugging Face와 GitHub에서 공개되었으며, Google Cloud BigQuery에서도 이용할 수 있다.
선정 이유: 표 형식 데이터의 예측을 문맥 내 학습(in-context learning)으로 다루는 설계와, 합성 데이터만으로 사전 학습한 점이 정리되어 있어 기존 트리 계열 기법과의 차이를 파악하기 쉽다.
Google Research는 AI 평가에서 항목 수와 항목별 평가자 수 중 어느 쪽을 우선해야 하는지 검증했다. 다수결과의 일치를 살펴볼 때는 항목 수를 늘리는 편이 효과적이며, 의견의 폭을 포착하려면 평가자 수를 늘려야 한다. 기존의 1~5명이라는 기준은 불충분한 경우가 많으며, 총 약 1,000건 규모의 어노테이션이라도 적절히 배분하면 재현성이 높은 결과를 얻을 수 있다고 밝혔다.