GAFU는 통합형 멀티모달 모델(UMM)의 생성 측 표현을 컴팩트한 G 토큰으로 압축하여, 이해 측이 과제에 따라 이를 참조할 수 있도록 하는 사후 학습 프레임워크다. 같은 데이터로 학습한 SFT 베이스라인을 다양한 시각 이해 과제와 UMM 아키텍처 전반에서 앞섰으며, VStar-Bench, OmniSpatial, VSR-Bench에서의 상대적 개선폭은 최대 각각 20.00%, 17.94%, 8.62%다. 생성 경로의 보완적 정보가 세밀한 시각 이해의 향상으로 이어질 수 있음을 보여준다.
BizBench는 결제 기업의 실제 업무 절차를 바탕으로, 장기간 과업을 수행하는 에이전트의 중간 실행이 타당한지 평가하는 멀티턴 방식의 벤치마크다. 프런티어 모델도 목표를 부분적으로 달성하는 데 비해 제약 위반이 많아, Claude Opus 5와 GPT-6 Sol의 엄격한 성공률은 각각 64.0%, 61.3%에 그쳤다. Qwen3.8-27B는 목표 달성률이 42.0%이지만 엄격한 성공률은 32.7%로 떨어져, 결과만 평가하면 무효한 실행이 드러나지 않음을 보여준다.
PrismaCoder는 루브릭 기반 파이프라인으로 멀티모달 코드 데이터를 합성·선별해, 시각적 코딩 과제에서 독점 모델에 필적하는 오픈 모델을 구현했다고 밝혔다. 학습용 데이터로 논문이 최대 규모라고 밝힌 오픈 데이터셋 'PrismaCoder-2M'을 구축했으며, PrismaCoder-9B와 PrismaCoder-35B를 학습해 공개했다. 동일한 루브릭은 데이터 필터링과 시각적 코딩 과제의 강화학습 보상에 함께 사용된다.
다단계 세계 상태 예측을 평가하는 벤치마크 'WorldCast'가 제안됐다. 8개 카테고리 320개 사례로 12개 모델을 평가한 결과, GPT-Image-2.5 System은 72.8점, Nano Banana Pro는 42.8점, 최고 성능의 오픈소스 모델은 20.1점을 받았다. 강력한 생성 모델은 기반 언어 모델의 능력도 효과적으로 활용하고 있다.
확산 모델의 예측을 다듬는 보정 모듈(corrector)을 학습시켜 exposure bias를 줄임으로써, 가이던스 없이도 샘플 품질을 높이는 기법이 제안되었다. DiT, SiT, JiT에서 평가했으며, 가이던스 없는 생성의 FID를 크게 개선했다. CFG와 함께 사용하면 다양성이 높아지고 과포화도 억제된다. 나아가 보정된 예측을 베이스 모델에 증류함으로써, 추론 시 비용을 늘리지 않고도 품질 향상을 유지할 수 있다.
CarryOn은 장기 작업을 수행하는 AI 에이전트가 대화 이력을 반복해서 압축하는 대신, 재사용 가능한 작업 진행 상황으로부터 작업을 재개할 수 있도록 하는 객체지향 컨텍스트 런타임이다. OSWorld 2.0과 BrowseComp-Plus에서 성능은 각각 5.8포인트, 7.0포인트 향상됐다. 동시에 총 토큰 사용량은 각각 51.9%, 22.9% 줄었다.
연구에서는 데이터가 제한된 저자원 언어의 사전학습에서 고자원 언어의 데이터를 섞는 방법이 하이퍼파라미터 조정보다 성능을 크게 개선한다는 결과가 나왔다고 밝혔다. 150M에서 1.43B 파라미터까지 4개 규모에서 아랍어에 영어 데이터를 섞은 약 1000회의 사전학습을 비교했으며, 검증 손실과 하위 작업 정확도 모두에서 혼합 방식이 우위를 보였다. 혼합의 효과는 목적 언어 고유 데이터 2~3배분(검증 손실), 2~13배분(하위 작업 정확도)에 해당하며, 검증 손실만으로는 혼합의 가치가 과소평가된다.
LLM2R는 사전 학습된 decoder-only LLM으로 3D 부품 조립을 시퀀스 모델링으로 다루고, 모든 부품의 자세를 한 번의 추론으로 예측하는 기법이다. 부품 수가 100개인 경우 Breaking Bad의 부품 정확도는 GARF를 33.5포인트, PartNet의 부품 정확도는 Assembler를 29.1포인트 앞질렀다. PartNet의 3개 카테고리 모두에서 부품 정확도와 성공률이 최고 기록을 세웠다.
모델의 가중치를 고정한 채, 피드백에 기반해 프롬프트, 메모리, 워크플로, 실행 가능한 컴포넌트 등 에이전트의 소프트웨어 기반(하네스)을 개정하는 자기 진화형 프레임워크가 제안됐다. 채택된 개정은 실행 간에 유지되며, 진화적 최적화를 통한 탐색과 지속적 PAC 학습을 통한 신뢰성 분석이 이루어진다. 기대 일반화 경계와, 새로 독립적으로 마련된 검증 데이터를 이용한 고확률 채택 규칙 등 이론적 결과가 제시됐으며, 코드와 보충 자료도 계속 갱신되고 있다.
Socratic Skill Learning(SSL)은 전문가의 지도와 학습자의 실습을 번갈아 결합해 에이전트가 재사용할 수 있는 스킬을 학습하는 기법이다. 주요 평가 세트(22개 패밀리·155개 케이스)에서 Fixed-Window SSL은 효용 0.801을 기록해, 스킬이 없는 경우의 0.723, Trace2Skill(궤적 증류)의 0.761, SKILL-KD(대조 증류)의 0.751을 웃돌았다.
Into the Unknown는 논문과 연구 방향을 주고 AI 에이전트가 후속 논문을 쓰게 하는 벤치마크다. 9개의 최신 에이전트가 작성한 135편의 제출물 가운데 모든 조건을 충족한 것은 없었고, 114편이 정합성 검사에서 실패했다. 코드와 데이터는 공개되어 있다.
Qwen@Alibaba_QwenAI 점수3434
Elorian과 Scale AI가 시각적 장면이 암시하는 정보를 추론하는 능력을 측정하는 벤치마크 "Humanity's Sixth Sense"를 공개했다. 인간의 pass@1 점수는 93.1인 반면, 최고 성능 모델인 GPT 6 Astra는 53.6, GLM-5.3-flash는 26.8, Kimi K3는 25.5를 기록했다. 이 밖에도 우주에서의 AI 우위를 논한 AI Frontiers 기사와 AI의 연구 감각을 측정하는 TasteVal을 함께 다룬다.
SELFCOMPACT는 모델 스스로 문맥을 언제, 어떻게 압축할지 결정하는 에이전트용 스캐폴드다. 압축 도구와 압축해야 할 때와 억제해야 할 때를 정하는 경량 루브릭을 결합해, 파인튜닝 없이 적응형 압축을 구현한다. 6개 벤치마크(경쟁 수학과 에이전트형 검색)와 7개 모델로 평가한 결과, 고정 간격 요약과 같거나 그 이상의 성능을 더 적은 토큰 비용으로 달성했다. 수학에서는 요약을 하지 않은 베이스라인보다 최대 18.1포인트, 에이전트형 검색에서는 5~9포인트 높았으며, 문제당 비용은 30~70% 낮았다.
기계번역(MT) 품질 평가에서 LLM과 인간 어노테이터의 일치도를 MQM과 ESA 두 가지 평가 방식으로 검증한 연구다. 70개 언어쌍의 장문 테스트 세트와 WMT23·WMT25 데이터를 활용한 결과, LLM의 일치도가 인간끼리의 일치도를 웃도는 경우도 있었으나 많은 설정에서는 양쪽 모두 신뢰성이 충분하지 않았다. 인간은 세분화된 MQM과 저자원 언어쌍에서, LLM은 경미한 오류와 오류 구간(error span) 어노테이션에서 과제를 안고 있는 것으로도 나타났다.
BridgeWAM은 World Action Models(WAMs)에서 영상 Expert와 행동 Expert를 32개의 Latent Bridge Queries(LBQs)를 통해 분리하여, 행동 예측의 효율과 일반화 성능을 높이는 기법이다.
강한 모델용 스킬은 약한 모델에서 효과가 적거나 성능을 떨어뜨리는 것으로 나타났으며, 이에 실행 모델의 능력에 맞춰 스킬을 다시 쓰는 '스킬 적응'을 제안한다. 103개의 태스크-스킬 조합에서 GPT-5.6-luna는 31.1점 향상된 반면 Gemma-4-E4B는 8.8점 하락했다. 고정된 메타 스킬로 약한 모델을 개선한 결과, 7개의 실행 모델에서 최종 점수가 2.0~5.1점 향상되었다.
OpenMobile-2는 모바일 에이전트의 환경, 데이터, 벤치마크, 모델을 모두 오픈소스로 공개했다. MobileGym++은 사람과 코딩 에이전트의 협업으로 구축한 상용 스타일 앱 35개를 포함하며, 에뮬레이터형 앱과 합쳐 110개 이상의 앱을 제공한다. GUI 조작과 앱 네이티브 도구 호출을 결합하는 설정을 제안했으며, 실기기 모바일 과제에서 거의 2배의 성능을 달성했다.
Apple의 연구팀이 확산 모델의 각 역방향 단계를 엄밀한 우도로 학습할 수 있는 조건부 Normalizing Flow로 표현하는 Normalizing Trajectory Models(NTM)를 제안했다. 자기 증류를 통해 4단계만으로 고품질 샘플을 생성할 수 있다. 텍스트-이미지 벤치마크에서는 강력한 이미지 생성 베이스라인과 같거나 그 이상의 성능을 4단계 생성만으로 보였다고 한다.
지적재산권법 변호사 133명을 대상으로 미공개 Google Labs 개발 AI 특허 작성 지원 도구를 3개월간 사용하게 하는 현장 실험을 진행하고, NBER에 논문을 공개했다. AI를 사용한 경우 작성 점수는 10일 후 0.34SD, 90일 후 0.38SD 향상되었으나, AI 없이 수행한 첨삭 과제에서 개선이 확인된 것은 시니어 변호사뿐이었고 주니어 변호사에게는 뚜렷한 개선이 없었다.
LGWM은 다음 화면의 표현을 직접 예측하는 디코더 없는 행동 조건부 월드 모델로, GUI 전환을 검증하여 하이재킹된 화면을 탐지한다. RSWT-BENCH에서 학습이 필요 없는 점수는 17밀리초에 AUC 0.987을 기록해 가장 강력한 클로즈드소스 VLM과 비슷한 수준이며, 생성형 GUI 월드 모델보다 약 10포인트 높고 지연 시간은 세 자릿수 이상 짧다. 유해한 위반과 무해한 위반을 구별하는 데서는 잔차 방향이 AUC 0.953에 도달했으며, 프롬프트를 준 VLM은 우연에 가까운 수준이다.
OpenAI는 미공개 내부 모델이 생성한 수학 논문 722편을 GitHub에 공개했다. 약 4,000개의 연구 문제를 평가 대상으로 삼았으며, 결과 하나당 평균 약 3시간의 ChatGPT Pro 상당 추론 연산을 사용했다고 밝혔다. 같은 날 Mistral Large 4의 API 제공 개시와 EmbeddingGemma 2 공개도 있었다.
LiveMACEBench는 실시간 금융 시장에서 지속형 LLM 에이전트를 평가하는, 의사결정 트레이스를 활용한 과정 중심 벤치마크다. 5개 프런티어 LLM을 30일간 평가한 결과, 실현 수익이 능력별 측정치와 어긋나는 '성과와 능력의 격차'가 나타났다. 의사결정 트레이스에 기반한 진단에서는 능력마다 서로 다른 병목이 드러났다.
Google Research는 Google Earth AI의 인구동태 기반 모델(PDFM)이 생성하는 장소 임베딩 표현을 다섯 가지 공중보건 과제로 평가했다. PDFM은 검색 동향, 사람의 이동, 건물 밀도, 기상·대기질 등을 통합한 임베딩으로, 과제별 미세조정 없이도 기존 입력과 같거나 그 이상의 결과를 보였다. 미국·캐나다 국경의 146개 카운티에서는 MMR 백신 접종의 설명 분산이 상대적으로 36% 향상됐고, 콜레라 발생 예측에서는 4주 앞의 AUPRC가 9.7% 개선됐다.
OpenAI는 사내 프런티어 모델을 활용한 수학 미해결 문제의 새로운 성과를 공표했다. Lean을 이용한 증명의 형식화와 연구의 세부 내용은 GitHub에서 공유하고 있다.
Google Research는 50명 이상의 학계·산업계 전문가와 함께 정리한 워크숍 보고서 「Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle」을 공개했다.
경영진 300명을 대상으로 한 조사에 따르면, 에이전트형 AI 프로젝트 가운데 실제 운영 단계까지 가는 비율은 평균 34%에 그쳤으며, 지식과 컨텍스트의 부족이 주요 원인 중 하나로 꼽힌다. 실운영을 먼저 추진하고 있는 선도 조직에서는 파일럿 단계를 넘어 진행되는 프로젝트가 평균 61%였고, 특히 의미 기반(시맨틱) 지식이 강한 것으로 나타났다. 데이터 파편화를 과제로 꼽은 응답은 55%였으며, 투자 우선순위로는 RAG와 지식 그래프 등이 앞섰다.
MemPilot은 강화학습을 통해 질의에 따라 멀티모달 에이전트 메모리의 정리 방식을 동적으로 선택하는 프레임워크다. 질의와 무관한 메모리 검색과 원시 멀티모달 이력의 정리를 LLM·VLM에 위임하는 처리를 전환하며, 성능, 비용, 지연 시간 사이의 트레이드오프를 조정한다. 5개의 멀티모달 에이전트 메모리 벤치마크에서 평가되었으며, 선호도를 바꿨을 때 트레이드오프 프런티어가 기존의 트레이드오프 고려형 베이스라인보다 넓은 것으로 나타났다.
Microsoft와 Hugging Face는 AI 에이전트가 남기는 백엔드 상태와 부작용으로 채점하는 벤치마크 ThinkingBox를 공개했다. 507개의 업무 워크플로를 각각 20회씩 실행했으며, Claude Opus 5.5가 pass@1 67.16%로 최상위를 기록했다. OpenEnv를 통해 자신의 모델도 평가할 수 있다.
선정 이유: 최종 응답이 아니라 DB 상태를 기준으로 채점하고, 20회 반복에 걸친 일관성과 비용까지 수치로 비교했다는 점에서 에이전트 평가 설계를 고민할 때 참고할 만한 자료다.
Google은 Trusted Execution Environments(TEE)를 활용한 차세대 연합학습(FL) 시스템을 발표했다. 데이터 익명화의 보장을 제3자가 검증·감사할 수 있는 형태로 제공한다. Gboard는 이미 새 시스템을 채택했으며, 기존 FL 시스템에 비해 계산 시간이 크게 단축되었다고 한다. 각 기기가 사전에 승인하는 접근 정책은 Rekor라는 공개 투명성 로그에 게재되어 외부 감사자가 추적할 수 있다.
ServiceNow CoreAI가 엔터프라이즈용 AI 에이전트의 학습 데이터를 생성하는 「AutoSynthData」를 개발했다고 밝혔다. 대상 모델의 실패와 더 강력한 교사 모델의 성공 사례를 바탕으로 다음에 학습해야 할 능력을 찾아내며, 실행 가능하고 현실적이면서도 아직 안정적으로 풀지 못하는 과제를 생성하고 검증한다. EnterpriseOps Gym을 활용한 예시가 제시되어 있으며, 공개된 데이터셋도 함께 사용됐다.
Anthropic@AnthropicAIAI 점수4242Google DeepMind는 단백질의 생물학적 기능을 유지한 채 서명을 삽입할 수 있는 워터마크 기술 'SynthID Bio'를 발표했다. 표적 단백질 3종을 사용한 습식 실험에서 워터마크가 삽입된 단백질 결합 분자는 워터마크가 없는 버전과 동등한 적중률, 결합 친화도, 서열 다양성을 보였다. AlphaFold 3에서는 모델 가중치에 워터마크를 넣어 예측 정확도를 유지하면서 탐지 가능성을 높였다고 밝혔다.
Diffusion Controller는 이미지 생성의 확산 과정을 연속적인 제어 문제로 재정의하고, 추론 시의 가이던스와 파인튜닝을 하나의 프레임워크로 다루는 기법이다. 베이스 모델을 고정한 채 경량 애드온 네트워크를 추가하는 방식으로, Stable Diffusion v1.4를 기반으로 한 실험에서는 인간의 선호 적합도를 나타내는 HPS-v2에서 업계 표준을 웃도는 결과를 기록했다고 보고되었다. 가중치에 전면적으로 접근할 수 있는 완전판은 베이스라인 모델 대비 90%의 승률을 달성했다.
Hugging Face는 MCP 에이전트의 답변을 출처 단위로 검증하는 후처리 레이어 ProvenanceGuard를 제안했다. 근거 전체로는 뒷받침되지만 답변이 지목한 출처가 아닌 다른 출처에만 존재하는 주장, 이른바 출처 오인을 탐지한다. 의료 에이전트의 281건 트레이스로 평가한 결과, 전문가가 통과시키면 안 된다고 본 139건 중 138건을 탐지했으며, 뒷받침된다고 판단된 67건은 재확인이나 수정 대상으로 넘겼다.
OpenAI가 프런티어 AI 학습에서의 안전성 사례(safety case)에 관한 초기 가이드라인을 공개했다. 대상은 기술적 안전 대책, 운용상의 관행, 그리고 misalignment 사고 조사이다.
Jack Clark의 뉴스레터 Import AI 474는 Michael Levin의 '마음은 플라톤적 공간의 패턴이다'라는 논문, 로봇을 위한 범용 포스트트레이닝 제안, Google의 Project Suncatcher, Zhipu AI가 GLM-5.3을 활용한 인프라 개발 등을 다뤘다. Zhipu의 사례에서는 GLM-5.3-Flash가 2주도 채 안 되어 실제 운영 가능한 수준에 도달했으며, 엔드투엔드 처리량이 초기 기준선의 3배가 되었다고 한다.
Google Research는 Gemini와 Veo 위에 구축한 멀티 에이전트형 AI 비디오 공동 감독 프레임워크를 발표했다. 여러 컷에 걸친 시각적 일관성을 계획하고, 캐릭터와 환경의 어긋남을 억제하면서 수 분 규모의 영상 생성을 목표로 한다. 창작 방향을 선택하는 데는 멀티 암드 밴딧을 사용하며, Pre-Production, Production, MLLM Judge의 각 에이전트가 제작을 진행한다. SynthID 워터마크 등 안전 장치도 그대로 이어받는다고 밝혔다.
OpenAI는 실제 정신건강 관련 대화에서 AI 응답의 유용성과 안전성을 평가하기 위한 벤치마크 「MentalHealthBench」를 발표했다. 전문가의 지식을 반영한 벤치마크다.
영국 AI Security Institute(AISI)가 EvalEval의 공개 기반인 「Evaluation Cards」를 활용해 평가 결과 공개를 시작했다.