OpenAI는 자사 AI가 생성한 수학, 계산기 과학, 물리학 증명을 외부 전문가에게 검증받는 체계를 마련했다. 계산기 과학에서는 Exponential Time Hypothesis(ETH)의 반증을, 수학에서는 local smoothing conjecture를, 물리학에서는 4차원 양자장 이론의 존재를 증명했다고 주장하고 있다. 수학과 계산기 과학의 증명은 Lean으로도 번역됐으나, 검증은 분야마다 서로 다른 방식으로 진행된다.
선정 이유: 수학, 컴퓨터 과학, 물리학 등 세 분야에서 외부 전문가가 검증을 진행하는 방식이 분야마다 어떻게 다른지 정리되어 있어, AI 성과를 어떻게 검증할지 생각하는 데 실마리가 된다.
기반 모델과 런타임 하네스를 결합해 복잡한 디지털 업무를 안정적으로 수행하는 Work Agents의 통합 프레임워크를 제안한다. 작업의 지속성(work persistence)과 개방성(work openness)이라는 두 축으로 작업 조건을 특징짓고, 디지털 업무를 과업의 범위와 편성에 따라 5가지 형태로 분류한다. 또한 신뢰할 수 있는 업무 수행에 필요한 5가지 핵심 역량 계열을 규명하고, 모델 최적화, 하네스 최적화, 두 요소의 통합 최적화 기법을 검토한다. 아울러 업무 성과 관점에서 기존 평가 방법과 지표를 분석한다.
StreamVibe는 암묵적이고 변화하는 사용자 의도에 능동적으로 응답하기 위해 벤치마크 「StreamVibe-Bench」, 스트리밍형 시각언어모델 「StreamVibe-VL」, 계층형 메모리 「StreamVibe-Harness」를 제안했다. StreamVibe-VL은 범용 동영상 이해 능력을 유지하면서 응답 타이밍과 답변 품질을 다른 베이스라인보다 10.7% 향상시킨다. StreamVibe-Harness는 능동적 상호작용에서 12.3%의 개선을 가져온다.
OpenAI는 수학, 계산기 과학, 물리 분야에서 3건의 "major" 성과를 발표했다. 계산기 과학에서는 Exponential Time Hypothesis(ETH)가 거짓이라는 증명을 제시했으며, Russell Impagliazzo, Ramamohan Paturi, Ryan Williams의 작업 그룹이 이를 검증한다. 성과는 GitHub에 공개되었고, 외부 전문가가 "shepherds"로 참여하는 점이 10월 6일의 대량 공개와 다른 점이다.
선정 이유: 외부 전문가가 검증을 주도하는 새로운 공개 방식과, AGMAI panel이 전날 제시한 권고 사이의 차이가 나란히 정리되어 있다.
OpenAI는 조화해석, 계산 복잡도, 양자장론 분야에서 새로운 발견 3건을 발표했다. 모델은 국소 평활화 추측(local smoothing conjecture)을 모든 차원에서 증명했고, 지수 시간 가설(ETH)이 틀렸음을 보였으며, QCD 등에 대한 존재 증명도 생성했다. OpenAI는 이번 성과를 원자료(raw research data)로 규정하고, 외부 전문가가 주도하는 공동 연구 그룹을 통해 이해를 넓혀 갈 계획이라고 밝혔다.
선정 이유: AI가 내놓은 수학·컴퓨터 과학·물리학 성과를 외부 전문가의 협력으로 검증하고 이해로 이어가는 공개 방식이 세 가지 형태로 구체적으로 제시되어 있다.
Apple Machine Learning 연구팀이 몇 장의 입력 이미지와 표정 신호로 3D 사람 머리를 실시간으로 애니메이션하는 GHARP를 발표했다. 신원(아이덴티티) 단계를 사전에 계산하고, 애니메이션 단계에서는 실행 시 경량 네트워크를 구동하는 2단계 구조를 채택했다. Ava-256 벤치마크에서 최첨단 품질을 달성했으며, A100 GPU에서 최대 13배 빠르고 가우시안 수는 8분의 1로 동작한다고 밝혔다.
FrameForge는 사전 학습된 동영상 모델을 활용해 통합적인 조건부 이미지 생성을 수행하는 기법이다. 동적으로 선택되는 가상 시간 간격의 시간적 RoPE 전문가(MoTE)로 조건과 목표 사이의 거리를 모델링하고, 잠재적 중간 상태를 거치는 시간적 추론(CoTR)으로 변환 과정을 표현한다. DreamBench, COCO2017, GEdit-Bench에서의 실험에서는 피사체 기반 생성, Canny-to-image 생성, 이미지 편집에서 비교 대상 기법들 가운데 우수한 성능을 달성했다.
Prox는 보정 데이터를 사용하지 않고 상위 k개의 채널을 선택하여 Mixture-of-Experts(MoE) 모델의 추론을 가속하는 기법이다. 보정된 임계값으로는 읽기량을 예측할 수 없지만, 동일한 점수에서 top-k 방식은 13%와 18%의 예산에서 43건 중 40건에서 임계값 방식과 같거나 더 높은 정확도를 보였다. 모델 가중치만으로 구성된 reader는 라우팅된 expert의 읽기량을 17.8%로 억제하면서도 전체 모델 정확도의 98.1%를 유지했으며, Triton 커널은 배치 크기 1에서 vLLM보다 1.60~1.90배 빨랐다.
SimpleLoRIF는 LLM의 안전성을 조용히 훼손하는 지시 데이터를 그래디언트 정합성으로 걸러내는 기법이다. Tulu 3에서 안전하지 않은 응답과 그래디언트상 가장 정합하는 20%의 예시를 제외해 SafeTulu를 구축했으며, Qwen, Llama, Olmo 모델에서 GCG 공격의 성공률을 최대 22% 줄였다. 그 과정에서 능력은 대체로 유지되거나 향상되었다. 마지막 4개 Transformer 블록에만 역전파를 제한함으로써 약 100만 건 규모 데이터셋의 임베딩을 가능하게 했다.
Venus-DefakerOne2는 위조의 형태와 미디어 유형 모두에서 탐지 범위를 넓힌 통합형 위조 대응 기반 모델이다. DeepFake 얼굴(96.7%), AI 생성 이미지(93.3%), 변조 문서(87.6%), 물리적 스푸핑(93.1%), AI 생성 동영상(96.0%) 등의 벤치마크에서 새로운 SOTA를 달성했다. 전작인 DefakerOne을 크게 웃도는 성능이다.
LOWN은 확산형 비전-언어 모델(DVLM)의 디코딩에서, 이미지 없이 한 예측이 직전의 이미지 포함 예측과 일치하면 이미지 처리를 생략하는 기법이다. LLaDA-V에서 10개 벤치마크 점수의 99.6%를 유지하면서도 디코딩 FLOPs는 평균 35.3%로 줄였다. 학습이나 임계값 조정이 필요 없으며, LLaDA 계열 DVLM에도 적용할 수 있다. 시각 토큰 가지치기와 함께 쓸 수 있고, KV 캐시 환경에서도 동작한다.
EmbeddingGemma 2는 텍스트, 이미지, 오디오, 비디오 및 이들의 조합을 하나의 통합 공간에서 표현하는 오픈 멀티모달 임베딩 모델이다. 논문에 따르면 모든 모달리티의 임베딩 벤치마크에서 새로운 Pareto frontier를 세웠으며, 전용 모델이나 2~12배 큰 모델보다 높은 성능을 보인다. 모델은 공개되어 있으며 Hugging Face에는 google/embeddinggemma-2 등이 등록되어 있다.
WorkFactory는 전문 업무의 의도로부터 일관성 있고 실행 가능한 과제를 구축하는 프레임워크로, 정보 계획과 수정을 통해 과제를 생성한다. 612개 직종에서 수집한 112,686건의 과제에서 얻은 교사 궤적으로 Qwen의 4B, 27B, 35B-A3B를 파인튜닝해 WorkPilot 시리즈를 만들었다. WorkPilot-35B-A3B는 GDPval-AA v2.1에서 Elo가 879에서 1565로 향상됐으며, 4개 전문 업무 벤치마크에서 각 베이스 모델을 능가했다.
OpenAI는 ChatGPT의 업무 관련 이용 현황을 보여주는 OpenAI Signals 데이터를 공개했다. 165개 작업 활동(Intermediate Work Activities)별로 약 100개국의 이용 동향을 2025년 1분기부터 2026년 3분기까지 분기 단위로 파악할 수 있다. 연구자는 데이터를 내려받아 국가별 차이, 시계열 변화, 다른 경제 지표와의 대조에 활용할 수 있다. 개인용 요금제의 업무 관련 메시지가 대상이며, 엔터프라이즈와 Codex 이용은 포함되지 않는다.
뉴욕대(NYU)와 텍사스대학교 오스틴 캠퍼스 연구팀이 14개 대규모 언어 모델의 출력을 사람이 쓴 글과 비교해, AI 글을 읽기 어렵게 만드는 여섯 가지 언어 패턴을 찾아냈다. 소형 모델은 사람이 쓴 글에 가까웠으며, Claude Opus 5.5는 21개 항목 중 19개에서 전 세대인 Opus 5를 앞섰다. 연구자들은 이 현상의 원인으로 RLHF에서 RLVR로의 전환을 지목하고 있다.
AI 안전성 스타트업 Resolution은 통계적 학습 이론과 관련된 특이점 해소(resolution of singularities) 정리를 AI 에이전트로 자동 형식화했다고 밝혔다. 작업은 약 1주일이 걸렸으며, Lean 코드를 약 60만 줄 생성했고, 토큰 비용은 추정 13만 5000달러였다. 같은 호에서는 ProgramBench에서 Claude Opus 5.5(xhigh)가 18.5%의 해결률을 기록했다는 점도 소개됐다. 공개 당시 모든 모델이 0%였던 벤치마크라는 점에서 발전 속도를 보여주는 사례로 평가된다.
OmniShowcase는 여러 참조 이미지로부터 특정 피사체의 영상을 생성하는 기법으로, 기하 정보를 바탕으로 학습 데이터를 자동 합성하는 파이프라인과 참조 뷰에서 재구성한 표면 법선 맵을 사용하는 기하 조건부 처리를 결합한다. 360도 궤도를 포함한 다양한 카메라 궤도의 영상을 학습 데이터로 활용해 3D 일관성을 높인다. 실험에서는 피사체의 동일성과 3D 일관성에서 최첨단 결과를 보였으며, 영상 품질과 움직임도 경쟁력 있는 수준을 유지한 것으로 알려졌다.
Co-Design Bench는 실제 사용자의 요청에 따라 기존 애플리케이션을 수정하는 코딩 에이전트를 평가하는 벤치마크로, 273개 태스크와 2,331개의 수락 기준을 포함한다. 최상위 모델인 gpt-6-astra는 태스크 평균으로 수락 기준의 69.9%를 충족했지만, 모든 기준을 충족한 태스크는 26.4%에 그쳤다. Qwen3.8-27B는 엄격한 완료율 64.4%를 기록해 전체 4위에 올랐다.
The Trinity는 과제를 능력 트리로 정리하고, 시뮬레이션 학습 환경의 생성과 Harness 모듈의 진화를 반복해 멀티모달 에이전트를 개선하는 프레임워크다. Creator, Explorer, Evolver 세 역할이 서로 협력하며, 학습에 사용한 28개 벤치마크에서 평균 34포인트, 학습에 쓰지 않은 18개 벤치마크(실세계 신체성 과제 2건 포함)에서 평균 26포인트의 성능 향상을 보였다. 과제 정보를 바탕으로 적절한 모듈 구성을 고르는 Capability-Aware Harness Router도 도입했다.
OSWAM은 자율주행과 신체성(embodied) 제어에서 확산 과정의 디노이징을 1단계로 수행해 행동을 생성하는 World Action Model이다. imagination tokens로 확산 과정을 초기화하고, 미래 조건부 특권 정보 증류(privileged information distillation)를 통해 행동 생성을 단일 디노이징 단계로 집약한다. 수십 단계가 필요한 direct-policy WAM 및 Joint-WAM과 동등 이상의 결과를 보였으며, direct-policy WAM 베이스라인보다 약 3배 빠르고, NVIDIA RTX 5090 GPU에서 최소 40ms 지연 시간으로 동작한다고 보고됐다.
SPOT는 확산 언어 모델(DLM)을 위한 추측적 디코딩 기법으로, 생성 순서를 예측해 후보를 병렬로 검증함으로써 출력을 바꾸지 않고 타깃 모델의 포워드 패스 수를 최대 6.8배 줄인다. SDAR-8B에서는 표준 디코딩 대비 최대 3.4배의 처리량을 달성했으며, T=0과 T=1의 모든 과제와 예산에서 베이스라인과 같거나 그 이상의 성능을 보였다. 0.62M 파라미터의 드래프터는 6개의 서로 다른 DLM 사이에서 재사용할 수 있고, 동적 임계값 디코딩에 SPOT-Sets를 결합하면 SDAR-8B의 처리량이 평균 59% 향상된다.
Rollback은 세계 모델을 반사실적 추론의 엔진으로 활용하는 기법이다. 중요한 판단 지점까지 경험을 되감고 대체 행동을 시험해 보는 방식으로 로봇의 정책을 개선한다. 실제 로봇을 이용한 3개 과제(block extraction, ball tossing, tabletop curling)에서는 가장 강력한 베이스라인 대비 성공률이 절대값 기준으로 각각 10.67%, 11.11%, 11.85% 향상됐다. 원격 조작 시연에서 시작해도 8시간의 학습 안에 ball tossing과 tabletop curling은 사람의 평균 성공률을 넘어섰다.
CEPO(Coordinator-Executor Prompt Optimization)는 멀티 에이전트 시스템(MAS)의 프롬프트 최적화를 개선하는 범용 프레임워크다. 공유 coordinator 프롬프트와 에이전트별 executor 프롬프트로 분리하며, 기존 4가지 프롬프트 최적화 기법에 적용한 결과 4개 분야 11개 벤치마크에서 성능이 일관되게 향상됐다. 문서 이해 MAS에서의 검증에서는 최적화 예산 효율과 에이전트 수에 따른 성능 확장성의 개선도 확인됐다.
본 서베이는 재귀적 자기 개선(RSI)을 조작적으로 정의하고, 신뢰할 수 있는 개선의 요건을 개선의 타당성, 제약의 유지, 효과적인 감독이라는 세 관점에서 정리한다. 대상은 개선의 진단, 제안 생성, 제안 평가, 갱신 구현(S1~S4) 및 이를 개선 메커니즘에 재귀적으로 적용하는 단계(RI)이다. 개별 갱신이나 후속 시스템에 이어지는 영향, 개선 메커니즘의 개정에 따른 위험과 평가의 근거를 검토하고, 독립적이고 장기적인 평가의 요건을 제시한다.
확산 언어 모델(DLM)의 강화학습에서 토큰 단위로 기여도를 할당하는 기법 DTCA가 제안되었다. DTCA는 토큰이 확정된 뒤 아직 마스크된 위치의 예측 신뢰도가 높아지는 정도를 바탕으로 각 토큰의 기여도를 추정하며, 품사 범주별로 묶어 학습 신호에 반영한다. LLaDA-8B-Instruct를 이용한 실험에서는 서로 다른 생성 예산에서도 수학 추론 성능이 일관되게 향상되었으며, 기본 모델 대비 MATH500에서 최대 9.0포인트, GSM8K에서 최대 5.3포인트 개선된 것으로 나타났다.
Multiscale Policy Optimization(MPO)은 장기 과제를 수행하는 LLM 에이전트의 학습에서 크레딧 할당과 정책 업데이트를 턴 단위로 맞추는 기법이다. MPO는 Multiscale Advantage Estimation(MAE)과 턴 수준 중요도 샘플링을 결합해 구성된다. 검색, 도구 사용, 자동화 과제에서 4B 및 30B-A3B 모델로 진행한 실험에서는 강력한 RL 베이스라인 대비 일관된 성능 향상을 보였다.
Anthropic 공동창업자 Jack Clark는 AI가 후속 시스템을 스스로 개발하는 재귀적 자기 개선(RSI)이 이르면 2027년에 가능해질 수 있다는 견해를 밝혔다. 기존에는 2028년을 상정하고 있었다. 이러한 전망의 배경에는 P-Zero Research의 벤치마크 'TasteVal'에서 Anthropic의 Opus 5.5가 계산량 승수 2.3을 기록해, 전문가 수준에 절반 미만의 계산량으로 도달한 결과가 있다. 다만 통계적 범위는 1.15~4.37로 넓고, 측정 대상도 과학 연구의 일부에 한정된다.
난징대학교와 SenseTime 등의 연구자들이 Qwen3.5 9B와 Qwen3.6 27B를 기반으로 한 스마트폰 에이전트 OpenMobile-2를 공개했다. 학습 환경, 데이터, 재현 절차도 함께 공개했다. 27B 버전은 AndroidWorld에서 79.9점을 기록했으며, 실기기 기준 SPA-Bench에서는 31.9점에서 59.6점으로 상승했다.
Δτ-Bench는 도구 생태계의 구조적 변화에 대한 에이전트의 적응력을 평가하는 실행 가능한 벤치마크이다. 검증된 태스크 1,588건으로 평가한 결과, 가장 강력한 모델이나 harness에서도 태스크 성공률은 42.3%에 그쳤다. 제안 기법인 Steward는 도구와 절차적 지식을 단계적으로 유지·관리하면서 동적으로 제공하는 방식으로, 실험에서 유지 비용을 억제하면서도 높은 성공률을 유지했다.
InteractiveWorld는 MLLM이 물리 작업에서 사람을 확실하게 안내할 수 있는지를 평가하는 검증 가능한 시뮬레이션 환경이자 벤치마크다. 벤치마크인 InteractiveBench는 6개 카테고리, 120건의 멀티턴 작업으로 구성되며, 각 지시의 결과는 상태 기반 보상으로 채점된다. 12종의 프런티어 MLLM을 평가한 결과, 가장 성능이 높은 Claude Fable 5.1조차 장기적인 Guidance 및 Planning 작업의 달성률이 각각 최대 20%, 25%에 그쳤다.
AMBIT는 1차 앰비소닉스(FOA) 공간 음향을 생성·편집하는 통합 프레임워크로, 자기회귀적 장면 계획과 rectified-flow 기반 렌더링을 결합했다. 계획은 음원의 내용, 활동, 3D 궤적을 기술하는 ScenePlan이며, 편집 시에는 변경할 부분과 유지할 음원을 지정하면 참조 음성이 나머지 음향 세부를 보완한다. 음성, 음악, 음향 평가에서는 비교 대상 베이스라인에 비해 생성 내용과 공간 품질, 지시 기반 편집 시의 음향 충실도, 편집하지 않은 음원의 보존이 개선된 것으로 보고됐다.
DynaFlow는 메인 에이전트가 실행 가능한 워크플로를 생성하고, 서브 에이전트를 순차적 또는 병렬로 조정하는 멀티 에이전트 프레임워크다. 학습 대상은 메인 에이전트뿐이며, 서브 에이전트는 고정한 상태로 두었다. 6개 벤치마크에서 Forced 모드의 종합 정확도 88.08%를 달성했다. 같은 Qwen3.5-27B를 백본으로 하는 가장 강력한 베이스라인을 10.90포인트 앞섰다.
Continual Learning Exam(CLE)는 LLM 에이전트의 장기적인 지속 학습과 경험 기반 자기 개선을 평가하는 대규모 벤치마크다. 50명 이상의 도메인 전문가가 구축했으며, 12개 분야 89개 직종에 걸친 120개의 실무 과제, 600단계의 진행 레벨, 약 24K개의 실제 파일, 19개의 상태 유지형 애플리케이션, 16K개 이상의 사람이 작성한 평가 기준을 포함한다. 17개의 프런티어 에이전트 구성을 평가한 결과, 최상위인 Claude Code + Opus 5조차 레벨 완료율은 47.7%, Task Ladder 전체 완료율은 23.3%에 그쳤다.
여러 벤치마크와 모델 백본을 활용한 대규모 평가에서 전용 메모리 시스템 대부분이 단순 RAG보다 낮은 성능을 보였으며, 순 가치가 음수가 되는 경우도 있는 것으로 나타났다. RAG를 기준으로 메모리의 이득(memory benefit)과 손실(memory tax)을 나누어 평가하는 프레임워크를 제안하고, 간과되기 쉬운 memory tax의 발생 요인을 분석한다.
ChronoReplay는 스트리밍형 시각언어모델(VLM)의 공간 추론 능력을 높이는 학습 프레임워크다. 카테고리형, 거리(메트릭)형, 궤적형 공간 감독 신호를 시간 순서의 에피소드로 정리해, 단일 모델이 상호보완적인 공간 능력을 학습하도록 한다. OVO-S-Bench, OST-Bench, UCS-Bench에서 일관된 향상을 보였으며, OST-Bench에서는 13.41포인트 상승을 기록했다. 여기에 적응형 프레임 선택을 더해 시각 처리 비용을 줄이면서 성능을 한층 끌어올린다.
특허 변리사를 대상으로 한 실험에서 AI 지원을 받은 결과 신입의 특허 청구항 작성 품질은 크게 향상됐지만, AI 없이 진행한 레드라인 작업에서는 시니어만 우위를 유지했고 신입에게는 효과가 나타나지 않았다. Google이 자금을 지원하고 Google Labs의 미공개 AI 어시스턴트 'InFlow'를 사용한 연구다. 저자들은 AI의 혜택이 가장 컸던 신입일수록 지속적인 기술이 잘 남지 않았다고 해석한다.
Liu 씨와 Han 씨의 연구에 따르면, 코딩 에이전트의 하네스를 바꿔도 합격률 차이는 동일 설정으로 재실행했을 때의 변동과 비슷한 수준이며, 비용만 최대 3배까지 차이가 난다. Claude Code, OpenCode, mini-SWE-agent를 비교한 결과, 차이가 측정 오차 범위 안에 머문다는 것을 보였다. OpenCode만 대규모 과제 묶음에서 최대 9포인트 낮았다.
Qwen-Image-PE는 2단계 학습을 통해 텍스트-이미지 생성(T2I)용 프롬프트를 강화하고, 조명, 구도, 레이아웃, 디테일 등 시각 디자인 요소를 학습하는 기법이다. Qwen-Image-Bench에서 Qwen-Image-2.1을 사용해 평가한 결과, Qwen-Image-PE-397B는 원래 요청보다 7.81포인트 향상됐으며, Qwen-Image-PE-9B는 평가에 포함된 모든 PE 베이스라인을 웃돌았다. Qwen-Image-PE-9B는 공개되어 있다.
Trajectory2Gym은 성공한 궤적을 수집하는 대신, 합성적 구조를 포괄하는 실행 가능한 상호작용을 구축하고, 에이전트에게 보이는 이력으로 뒷받침되는 결정만을 교사 신호로 사용하는 도구 사용 에이전트 학습 기법이다. Qwen3의 5개 규모에서 평가했으며, Tau1, Tau2, BFCL 3개 벤치마크의 등가중 평균이 모든 규모에서 16.9~29.8포인트 향상되었다. 향상 폭은 뒤의 판단이 앞선 관찰이나 피드백에 의존하는 상태 기반의 다중 턴 상호작용에서 가장 크다.
자율적으로 사후 학습을 수행하는 프런티어 모델 10종을 비교한 결과, GPT-6 Astra가 학습한 최고 모델은 12개 역량 벤치마크에서 베이스에서 Instruct로 가는 차이의 중앙값 76%를 메웠다. 2단계에서는 10개 모델 중 8개 모델에서 문체를 조정한 인간 선호도 평가가 향상된 반면, 벤치마크 개선은 소폭에 그쳤고 선호도와의 뚜렷한 연관성도 확인되지 않았다. 일부 에이전트는 답변을 길게 만들었고, 한 모델은 StrongREJECT에서 유해한 요구에 대한 순응도가 높아졌다.