Latent Space의 AINews는 고성능 LLM이 소형 모델의 가중치를 직접 읽고 편집하는 「Weight Space Programming」 논문을 다뤘다. 가중치의 용도 파악, 실패 트레이스에 따른 수정, 가중치의 일괄 생성 등을 보여준다고 한다. 같은 호에서는 DeepSeek의 super-agent harness 시험판 공개, GDPx 벤치마크, 각종 양자화와 추론 인프라 관련 소식도 다룬다.
CrossSWE는 상호 의존적인 여러 리포지토리에 걸친 공동 개발을 평가하는 벤치마크로, 165개 리포지토리, 20개 기술 분야, 13개 프로그래밍 언어에 걸친 171건의 사례를 포함한다. 5개의 LLM을 평가한 결과, 가장 성능이 높은 GPT-6.1 Sol도 Pass@1은 58.48%에 그쳤다. 가장 많은 실패 유형은 리포지토리 간 불일치로, 전체의 44.2%를 차지했다.
SWE-Trail은 과거 궤적에서 추가 수집을 진행할 상태를 고르되, 그 이력은 코딩 에이전트의 컨텍스트에 전달하지 않는 궤적 수집 기법이다. Ling-3.0-flash-base로 초기화한 124B 학생 모델을 학습시킨 결과, 독립 샘플링과 비교해 평균 해결률이 SWE-bench Multilingual에서 2.33%포인트, SWE-bench Pro에서 1.60%포인트 높아졌다. 이력을 사용하지 않으면 같은 파이프라인의 Multilingual 개선폭은 0.11%포인트에 그친다.
코드로 동영상을 생성하는 멀티모달 에이전트를 평가하는 벤치마크 VibeVideoBench가 발표되었으며, 상위 시스템은 다수의 과제에서 핵심 요건을 충족하는 한편 시간 관리 실패로 자주 걸려 넘어지는 것으로 나타났다. 영어와 중국어의 239개 과제(12개 카테고리)로 최신 에이전트 9종을 평가한 결과, GPT-6 Astra와 Claude Opus 5.5가 각각 1위와 2위를 차지했으며, 최상위 시스템은 76.3%의 과제에서 핵심 요건을 모두 충족했다. 실패한 동영상의 약 4분의 3은 최종 렌더링의 시작이 늦어지거나, 처리가 지나치게 느리거나, 아예 시작되지 않은 데서 비롯된 것이었다.
Co-Design Bench는 실제 사용자의 요청에 따라 기존 애플리케이션을 수정하는 코딩 에이전트를 평가하는 벤치마크로, 273개 태스크와 2,331개의 수락 기준을 포함한다. 최상위 모델인 gpt-6-astra는 태스크 평균으로 수락 기준의 69.9%를 충족했지만, 모든 기준을 충족한 태스크는 26.4%에 그쳤다. Qwen3.8-27B는 엄격한 완료율 64.4%를 기록해 전체 4위에 올랐다.
Liu 씨와 Han 씨의 연구에 따르면, 코딩 에이전트의 하네스를 바꿔도 합격률 차이는 동일 설정으로 재실행했을 때의 변동과 비슷한 수준이며, 비용만 최대 3배까지 차이가 난다. Claude Code, OpenCode, mini-SWE-agent를 비교한 결과, 차이가 측정 오차 범위 안에 머문다는 것을 보였다. OpenCode만 대규모 과제 묶음에서 최대 9포인트 낮았다.
Trajectory2Gym은 성공한 궤적을 수집하는 대신, 합성적 구조를 포괄하는 실행 가능한 상호작용을 구축하고, 에이전트에게 보이는 이력으로 뒷받침되는 결정만을 교사 신호로 사용하는 도구 사용 에이전트 학습 기법이다. Qwen3의 5개 규모에서 평가했으며, Tau1, Tau2, BFCL 3개 벤치마크의 등가중 평균이 모든 규모에서 16.9~29.8포인트 향상되었다. 향상 폭은 뒤의 판단이 앞선 관찰이나 피드백에 의존하는 상태 기반의 다중 턴 상호작용에서 가장 크다.
IQuest-Q1은 총 파라미터 320B(활성화 15B)의 희소 MoE 구조를 갖춘 에이전트용 기반 모델로, 사전 학습, 중간 학습, 사후 학습의 다단계 학습을 통해 에이전트형 코딩과 범용 능력을 강화했다. 사전 학습에서는 Stable SplitNorm, Muon, muP를 결합했으며, 사후 학습에서는 SFT, 도메인 특화 RL, MOPD를 여러 스캐폴드에서 활용했다. 각 단계의 체크포인트와 전문가 모델은 모델 병합으로 통합되어 오픈소스 모델로 공개됐다.
VibeGame은 자연어 프롬프트로 완전한 2D 게임을 구축하는 프레임워크로, AI 네이티브 엔진과 8개의 전문 에이전트로 구성된 Adversarial Agent Team을 활용한다. GameCraft-Bench 하위 집합에서는 에이전트가 직접 아트를 생성하는 P2G 방식의 VibeGame이 동일한 기반 모델(GPT-6.1-Sol 포함)을 사용한 각종 에이전트 하네스를 일관되게 앞섰다. 완성된 프로젝트는 학습 없이 자기 진화하는 메커니즘을 통해 재사용 가능한 스켈레톤, 모듈, 협업 계약으로 증류된다.
S-Agent 2.0은 영속적인 장면 메모리와 평이한 공간 언어 해석을 3D 인지 도구를 갖춘 범용 코딩 에이전트에 결합해 공간 추론을 개선한 기법이다. 오픈소스 Qwen3.8-27B를 백본으로 한 MMSI-Bench에서는 66.5, ReVSI에서는 82.3을 기록해, 같은 백본의 전문 시스템 SpatialClaw(62.6, 74.5)를 웃돌았다. Gemini-3.8-Flash에서는 MMSI-Bench 74.1, ReVSI 90.5에 도달했다.
HarnessPro는 레이블 없이 AI 에이전트의 하네스를 진화시켜 성능 향상과 실행 비용 절감을 동시에 달성하는 기법이다. GPT-5.5와 Codex를 사용한 Terminal-Bench 2, SWE-Bench Pro, ProgramBench에서 heavy 모드는 RHO와 비교해 평균 합격률을 2.0포인트 높였고, 태스크당 비용은 26.1% 줄였다. GLM-5.2와 Claude Code를 조합한 경우에도 같은 우위가 성립한다.
Code2Video-Compass는 텍스트·이미지·동영상을 입력으로 하는 코드 기반 동영상 생성을 평가하는 범용 벤치마크로, T2V, I2V, V2V 세 가지 설정을 지원한다. 10개 카테고리, 24개 서브타입, 3가지 복잡성 차원으로 구성된 2,104개의 과제를 포함하며, 객관 지표 12종과 주관 지표 5종으로 평가한다. 9개 계열의 독점 및 오픈 웨이트 MLLM 15종을 평가한 결과, 최상위 모델도 고품질 동영상을 안정적으로 생성하기는 어려웠으며, 구성·동적 애니메이션·상태 의존적 복잡성이 높아질수록 성능이 떨어지는 경향이 나타났다.
연구진은 AI 에이전트가 장기적으로 올바른 선택을 내리는 능력을 「taste」라고 부르며, 이를 측정하는 벤치마크 Taste-Bench를 공개했다. 502개 문제를 14개 모델로 풀게 한 결과, 최고 성능인 GPT-5.6 Sol도 평균 59.7%에 그쳤다. 증류로 학습한 소형 모델의 조언을 받자 SWE-bench Pro의 41개 과제에서 성공률이 14.6%에서 33.7%로 올랐다.
AI 에이전트가 평가 벤치마크를 자율적으로 설계할 수 있는지 측정하는 'EvalResearchBench(ERB)'가 제안되었다. 최고의 평가기는 후보 모델 쌍 가운데 약 75%의 순위를 목표 벤치마크와 일치시켰지만, 목표 벤치마크끼리의 불일치로 정해진 상한인 91%에는 도달하지 못했다. 9개의 researcher, 13개의 후보 모델, 14개의 목표 벤치마크로 비교한 결과, 사람이 설계한 공개 태스크 샘플이 여전히 강력한 베이스라인이었으며, 모든 지표에서 1위를 차지한 researcher는 없었다.
Self-HPO는 코딩 에이전트의 하네스(harness)와 정책을 번갈아 최적화하는 재귀적 프레임워크다. Qwen3.5-35B-A3B의 3개 코딩 벤치마크 평균 resolve rate는 57.8%에서 64.8%로 향상되어, 하네스만 또는 정책만 최적화한 베이스라인을 넘어섰다. 분포 외 설정에서도 효과가 일반화되며, Pass@1과 Pass@k 모두에서 베이스 에이전트를 개선한다.
HexaShell은 시각 정보와 자체 제작 도구로 양팔 로봇을 제어하는 코딩 에이전트로, RoboDojo의 전체 42개 과제에서 성공률 39.7%, 진행 점수 48.0을 기록해 해당 벤치마크의 새로운 SOTA를 달성했다고 밝혔다. 성능의 한계는 추론이 아니라 접촉에 있었다. 미는 동작은 92.5%, 메모리 계열 과제는 65.0%였지만, 좁은 틈에 끼우는 작업은 8.3%에 그쳤다. 사용 모델은 Codex와 GPT-6-Astra(medium reasoning effort)이며, 제작한 도구는 오픈소스로 공개된다.
MLExpert는 계층적 에이전트형 SFT와 Windowed Interaction RL(WIRL)을 결합한 사후 학습으로, 장기간에 걸친 머신러닝 엔지니어링(MLE) 최적화를 자율적으로 수행하도록 훈련된 35B Mixture-of-Experts 에이전트 모델이다.
FDE-Gym은 요구사항이 모호하고 제시되지 않은 제약을 찾아내야 하는 고객사 도입 과제에서 AI 에이전트를 평가하는 벤치마크다. 18개 업종, 20개 고객 시나리오에서 수집한 95건의 엔드투엔드 과제를 담고 있으며, 7개 회사의 13가지 구성을 평가했다. 그 결과 가장 좋은 구성에서도 평균 점수는 0.56에 그쳤고, 95건 중 14건만 해결(점수 0.8 이상이면서 사고 없음)했다. 제시되지 않은 제약의 발견이 주된 병목으로 나타났으며, 필요한 정보를 모두 얻은 23건에서도 0.8 이상에 도달한 것은 10건뿐이었다.
PrismaCoder는 루브릭 기반 파이프라인으로 멀티모달 코드 데이터를 합성·선별해, 시각적 코딩 과제에서 독점 모델에 필적하는 오픈 모델을 구현했다고 밝혔다. 학습용 데이터로 논문이 최대 규모라고 밝힌 오픈 데이터셋 'PrismaCoder-2M'을 구축했으며, PrismaCoder-9B와 PrismaCoder-35B를 학습해 공개했다. 동일한 루브릭은 데이터 필터링과 시각적 코딩 과제의 강화학습 보상에 함께 사용된다.
Hugging Face는 ICML 2026의 Open Reproductions 해커톤에서 커뮤니티가 논문 2,226편을 재현한 결과를 공개했다. 조사 대상의 51%(1,103편)에서는 최소 1건의 주장이 검증됐고, 23%(496편)에서는 최소 1건의 주장이 반증되거나 쟁점이 됐다. 사람이 에이전트를 이끄는 역할의 중요성도 함께 보고했다.
선정 이유: ICML 2026 논문의 약 3분의 1을 에이전트로 재현한 결과와, 잘못된 반증까지 포함한 검증 과정이 공개되었다. 심사(피어 리뷰)에서 에이전트와 사람이 어떻게 역할을 나눌지 생각해 볼 만한 자료다.
Jack Clark의 뉴스레터 Import AI 464는 Fable이 KernelBench-Mega에서 18.71배의 속도 향상을 달성했다고 전했다. Remote Labor Index에서는 AI의 성공률이 2.5%에서 16.1%로 상승했으며, OSWorld 2.0에서는 최고 성능이 20.6%에 그쳤다. JD의 재고 관리 시스템 Oxygen AIIC와 단편소설도 수록되어 있다.
Google은 Gemini로 과학 계산 코드를 작성하고 최적화하는 연구 도구 ERA(Empirical Research Assistance)의 논문을 Nature에 게재했다고 밝혔다. ERA는 유전학, 공중보건, 위성 영상 분석 등의 벤치마크에서 전문가 수준의 성능을 보였다고 한다. ERA와 AlphaEvolve로 구축한 Computational Discovery도 Gemini for Science를 통해 단계적으로 제공이 시작된다.
Google DeepMind는 Gemini를 기반으로 한 멀티에이전트형 AI 시스템 'Co-Scientist'를 Nature에 발표하고, 연구자가 가설을 생성·검증할 수 있는 실험 도구 'Hypothesis Generation'으로 제공한다고 밝혔다. 향후 수 주 내에 순차적으로 제공을 시작하며, 연구자는 labs.google/science에서 이용 등록을 할 수 있다. 간 섬유증 연구에서는 이 시스템이 제시한 재사용 후보 약물 중 하나가 실험실 시험에서 흉터 형성과 관련된 반응을 91% 억제한 것으로 보고되었다.