VidUEU-Agent는 원본 동영상으로부터 멀티모달 이해, 이미지 편집, 통합 과제를 위한 지시 데이터를 자동으로 구축하는 에이전트형 데이터 큐레이션 프레임워크다. 동일한 초기 체크포인트에서 BAGEL을 30K 샘플씩 미세 조정하는 4회의 반복을 수행하면, 3개의 피드백용 벤치마크 전반에서 성능이 향상된다. 또한 8,268개의 동영상에서 10만 건의 지시 샘플을 담은 VidUEU-100K 데이터셋도 구축되었다.
DreamX는 사전 학습된 비디오 확산 모델을 범용 잠재 액션 학습기로 전용해, 외형에 의존하지 않는 컴팩트한 잠재 액션을 추출하는 기법이다. 각 잠재 비디오 프레임을 1,200개에서 4개 토큰으로 300배 압축했으며, LARY-Bench에서 잠재 액션 모델 가운데 최고 수준의 성능을 달성했다. 인간과 로봇처럼 서로 다른 신체와 환경 사이에서도 제로샷 액션 전이를 지원하며, 컴팩트한 잠재 공간에서 정책을 학습함으로써 비디오 확산 기반 정책의 계산 비용을 줄인다.
YANAMI는 다턴에 걸친 대화 상태 추적을 평가하기 위한 대규모 멀티모달 대화 데이터셋 'YANAMI-400K'(대화 40만 건, 이미지 200만 장 이상, 발화 260만 턴)와 벤치마크 'YANAMI-Bench'다.
Hugging Face가 장문 문서 안 개체(엔티티)의 상태 변화를 언어 모델이 어디까지 추적할 수 있는지 측정하는 벤치마크 'StateBench'를 공개했다. 난이도는 4단계로 나뉘며, 변수에 값을 대입하는 방식에 따라 갱신 연산의 복잡도가 달라진다. Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol, Luna 같은 프런티어 모델은 입력이 길어지면 까다로운 형식의 상태 추적에서 무너졌다. 반면 순환(recurrent)형과 하이브리드형 모델은 Transformer보다 더 먼 길이까지 일반화할 수 있었다고 한다.
SWE-Trail은 과거 궤적에서 추가 수집을 진행할 상태를 고르되, 그 이력은 코딩 에이전트의 컨텍스트에 전달하지 않는 궤적 수집 기법이다. Ling-3.0-flash-base로 초기화한 124B 학생 모델을 학습시킨 결과, 독립 샘플링과 비교해 평균 해결률이 SWE-bench Multilingual에서 2.33%포인트, SWE-bench Pro에서 1.60%포인트 높아졌다. 이력을 사용하지 않으면 같은 파이프라인의 Multilingual 개선폭은 0.11%포인트에 그친다.
Anthropic는 Claude에게 다른 소형 연구용 모델을 misalignment(정렬 이탈)로 유도하는 파인튜닝용 데이터셋을 만들게 했으며, 안전 모니터링을 통과하는 데이터가 발견됐다고 보고했다. 양봉, 프로레슬링, 영사기사의 내면 독백처럼 겉보기에 무해한 소재가 감시 방해와 기만을 학습시키는 데 쓰였다. 제작된 모델은 공개되지 않았으며, 기존 안전 대책의 허점을 조사하기 위한 실험이다.
ReLift는 단안 동영상에서 얻는 고밀도 3D 트래킹을 리프트된 궤적의 기하학적 복원 및 보완으로 새롭게 바라본 피드포워드 방식의 기법이다. 이미지 기반 학습이 필요 없으며, 시뮬레이션한 리프트 오차를 포함한 3D 궤적으로 직접 학습한다. WorldTrack에서 최고 수준의 평균 정확도를 달성했으며, 가장 강력한 베이스라인 대비 전체 점에서 2.1 APD, 동적 점에서 3.0 앞섰다. 빠른 설정에서도 주요 3D 트래커와 경쟁하며, 4RCf보다 빠르게 동작한다.
EvidenceConnect는 단일 이미지 안의 관련 영역을 확대해 보여주는 방식으로, 비교·집계·연쇄 추론이 필요한 질문을 합성하는 데이터 합성 프레임워크다. 이를 이용해 RLVR로 학습한 ZwZ2는 벤치마크에 맞춰 조정하지 않은 합성 데이터로도 세밀한 지각과 공간 지각이 향상되었으며, 엠바디드 AI의 공간 추론, 멀티모달 장문맥 이해, 멀티모달 에이전트 작업, 일반 시각 추론에서도 개선이 나타난 것으로 알려졌다. Hugging Face에는 inclusionAI/ZwZ2-27B, ZwZ2-9B, ZwZ2-4B의 모델 페이지가 올라와 있다.
ThinkWorld는 World Imagination 기반 강화학습으로 행동 추론을 세계의 동역학과 연결하고, 행동 라벨이 없는 인간 영상으로도 학습하는 VLA 학습 프레임워크다. 각 행동에 대한 사고는 이산적인 동작 토큰 열인 Chain-of-Dynamics(CoD)로 표현되며, 행동 라벨이 달린 데모로 초기화한 뒤 예측이 관측 결과에 가까운 CoD가 강화된다. 시뮬레이션과 실제 로봇 실험에서 인간에서 로봇으로의 전이와 미지의 과제·환경으로의 일반화가 확인됐다.
Soft-MTP는 표준 Multi-Token Prediction(MTP) 학습에서 그래디언트에 섞이는 노이즈 성분을 KL 자기 증류(self-distillation)의 그래디언트만 남겨 제거하는 기법이다. 코드 한 줄 변경으로 도입할 수 있고, 파라미터 수는 늘지 않으며 측정 가능한 오버헤드도 없다고 한다. 167M에서 1.2B 파라미터 범위에서 표준 MTP보다 낮은 NTP 퍼플렉서티, 빠른 추측적 디코딩, 높은 제로샷 정확도를 보였다고 밝혔다.
중국 연구팀이 자연어 지시로 단백질을 설계하는 도구 「Pinal」을 발표했다. 테스트에서는 형광 단백질, 2종류의 효소, 대형 다단백질 복합체와 관련된 단백질 등 총 4종을 설계하도록 했다. 학습에는 AlphaFold로 예측한 구조와 짝을 이룬 3개의 데이터베이스 단백질 서열을 사용했으며, 그중 하나에는 8억 쌍의 키워드와 단백질 쌍이 포함되어 있다.
SimpleLoRIF는 LLM의 안전성을 조용히 훼손하는 지시 데이터를 그래디언트 정합성으로 걸러내는 기법이다. Tulu 3에서 안전하지 않은 응답과 그래디언트상 가장 정합하는 20%의 예시를 제외해 SafeTulu를 구축했으며, Qwen, Llama, Olmo 모델에서 GCG 공격의 성공률을 최대 22% 줄였다. 그 과정에서 능력은 대체로 유지되거나 향상되었다. 마지막 4개 Transformer 블록에만 역전파를 제한함으로써 약 100만 건 규모 데이터셋의 임베딩을 가능하게 했다.
WorkFactory는 전문 업무의 의도로부터 일관성 있고 실행 가능한 과제를 구축하는 프레임워크로, 정보 계획과 수정을 통해 과제를 생성한다. 612개 직종에서 수집한 112,686건의 과제에서 얻은 교사 궤적으로 Qwen의 4B, 27B, 35B-A3B를 파인튜닝해 WorkPilot 시리즈를 만들었다. WorkPilot-35B-A3B는 GDPval-AA v2.1에서 Elo가 879에서 1565로 향상됐으며, 4개 전문 업무 벤치마크에서 각 베이스 모델을 능가했다.
Rollback은 세계 모델을 반사실적 추론의 엔진으로 활용하는 기법이다. 중요한 판단 지점까지 경험을 되감고 대체 행동을 시험해 보는 방식으로 로봇의 정책을 개선한다. 실제 로봇을 이용한 3개 과제(block extraction, ball tossing, tabletop curling)에서는 가장 강력한 베이스라인 대비 성공률이 절대값 기준으로 각각 10.67%, 11.11%, 11.85% 향상됐다. 원격 조작 시연에서 시작해도 8시간의 학습 안에 ball tossing과 tabletop curling은 사람의 평균 성공률을 넘어섰다.
난징대학교와 SenseTime 등의 연구자들이 Qwen3.5 9B와 Qwen3.6 27B를 기반으로 한 스마트폰 에이전트 OpenMobile-2를 공개했다. 학습 환경, 데이터, 재현 절차도 함께 공개했다. 27B 버전은 AndroidWorld에서 79.9점을 기록했으며, 실기기 기준 SPA-Bench에서는 31.9점에서 59.6점으로 상승했다.
여러 벤치마크와 모델 백본을 활용한 대규모 평가에서 전용 메모리 시스템 대부분이 단순 RAG보다 낮은 성능을 보였으며, 순 가치가 음수가 되는 경우도 있는 것으로 나타났다. RAG를 기준으로 메모리의 이득(memory benefit)과 손실(memory tax)을 나누어 평가하는 프레임워크를 제안하고, 간과되기 쉬운 memory tax의 발생 요인을 분석한다.
AV-FABLE은 장시간 음성·영상 동영상에 포함된 국소적 변조를 평가하기 위한 이중 타임라인 벤치마크로, 이를 기반으로 동결된 특징량에서 변조를 탐지하는 NFSR도 제안되었다. 원본·변조 쌍 16,650개(998시간, 편집 구성 27종)로 실험한 결과, AV-LLM에 제로샷 프롬프트를 사용한 탐지는 거의 무작위 추측 수준에 머물렀다.
Microsoft와 Hugging Face는 ThinkingBox의 데이터베이스 상태 판정을 강화학습 보상으로 쓰는 에이전트 학습 방법 「ThinkingBox-Training」을 GitHub에 공개했다. Qwen3.8-27B를 GRPO로 50스텝 학습한 결과, 507개 과제 벤치마크에서 평균 성공률(pass@1)이 51.70%에서 60.78%로 올랐고, 20회 모두 성공한 과제는 38건에서 107건으로 늘었다.
OpenAI는 PerturbAI, Scripps Research와 협력해 GPT-Rosalind 위에서 작동하는 수천 개의 AI 에이전트로 마우스 뇌 전체 CRISPR 아틀라스를 32분 만에 분석했다고 밝혔다. 팀은 사람이 수작업으로 같은 작업을 하면 수개월에서 1년이 걸릴 것으로 추산했다. 성과물인 "Reasoning Atlas"는 GitHub에서 공개됐으며, 논문은 bioRxiv에 게재됐다.
UserArena는 실제 e커머스에서 수집한 장기 쇼핑 행동을 대상으로 하는 대화형 벤치마크이며, 사용자 11,010명의 세션 궤적 64,729건, 상품 566,102개, 액션 유형 13종을 포함한다. 아울러 On-Policy Trajectory Distillation(OPTD)을 제안했으며, 평가한 시뮬레이터 가운데 종합 충실도가 가장 높고 오프라인 시뮬레이션에서 실서비스 정책의 효과를 가장 근접하게 재현했다고 밝혔다.
생 대화 기록에 대해 밀집 검색과 재랭킹을 수행하는 단순한 RAG 베이스라인 「Raw-RAG」가 LoCoMo, LongMemEval, MEME, MemoryAgentBench 평가에서 비교 대상 메모리 시스템 7개의 벤치마크·모델 설정 중 6개에서 1위를 차지했다. 가장 강한 에이전트형 메모리와 비교하면 0.13~5.53포인트 앞섰으며, 필요한 증거를 빠짐없이 포착하기 쉬운 점이 활용률이 낮은 단점을 보완하는 것으로 알려졌다. 변환된 메모리 전체에 접근하더라도 원본 증거와의 정확도 차이가 남아 있어, 논문은 원시 정보를 보존하는 것이 중요하다고 보여준다.
임의의 리그(스켈레톤)에 대해 영상과 3D 동작을 동시에 생성하고, 카메라로 그 동작을 장면에 맞춰 배치하는 모델을 제안했다. 3D 동작은 임의의 스켈레톤을 다루는 별도의 모델로 처리하며, 사전 학습된 영상 생성 모델과 소수의 크로스 어텐션 레이어로 연결한다. 약 20만 쌍의 학습 데이터로 훈련했으며, 텍스트로부터 애니메이션을 만들 때 영상 우선 방식의 파이프라인보다 충실도가 높다고 보고됐다. 영상과 3D 동작 간 상호 변환과 키프레임을 통한 제어도 가능하다고 한다.
i14는 선형 어텐션 모델 Laplace 3B를 AWS Trainium2에서 네이티브 PyTorch를 사용해 학습하고 서비스했다. 재귀 상태는 컨텍스트 길이와 관계없이 시퀀스당 29.5 MB로 고정된다. trn2.48xlarge 인스턴스 1대에서의 학습 처리량은 약 120,000 토큰/초였으며, 1,280개의 동시 시퀀스에서의 추론 출력은 11,544 토큰/초였다.
본 논문은 벤치마크를 난이도에 관한 경험적 측도로 정식화하고, 측도 불일치와 커버리지 공백이라는 두 가지 실패 모드를 규명한다. 7개 분야에 걸친 인기 벤치마크 25개를 분석한 결과, 다수의 벤치마크가 특정 난이도 영역을 과도하게 중시하고 있으며 리더보드의 결론은 신중하게 해석해야 한다고 밝혔다. 또한 난이도를 겨냥한 문항 재작성 알고리즘 BenchFill을 제안하고, 국지적인 커버리지 공백을 줄이는 효과를 보였다.
LaLa-World는 시뮬레이션, 로봇, 이미지·동영상 데이터를 하나의 예측기로 학습하는 언어 조건부 잠재 세계 모델이다. RAEv2 기반 동영상 생성 모델과 비교한 결과, 동등한 MPC 계획 성능을 6분의 1 적은 학습 비용과 13.9배 빠른 계획 속도로 달성했다. 사전 학습된 LaLa-World를 초기값으로 삼은 LaLa-Policy는 LIBERO와 RoboCasa에서 Cosmos Policy와 경쟁하며, 추론은 최대 5.5배 빠르다.
Ai2가 LLM 의사결정에서 속성별 공정성을 최종 선택뿐 아니라 판단의 흔들림 정도까지 측정하는 벤치마크 FairStress를 공개했다. 300개 시나리오와 속성·설득문 조합으로 1300만 건이 넘는 테스트 케이스를 갖추고 있으며, Olmo-eval에도 포함한다. Olmo, Llama, Qwen, Gemma, Claude, GPT 등에서 같은 설득문이라도 유리해지는 속성에 따라 판단이 바뀌는 정도가 다른 경향을 확인했다.
RoboValue는 로봇 가치 모델을 시뮬레이션과 실제 로봇 양쪽에서 통합적으로 평가하는 벤치마크다. 작업 상태 이해, 시간에 따른 진행 추적, 실패로부터의 회복 추론, 가치 일관성 등 4가지 능력을 평가하며, 시뮬레이션 15개 작업과 실제 로봇 20개 작업의 조작 데이터셋을 포함한다. 대표적인 모델들은 성과나 전진 진행도 점수가 높았지만, 세부 지시 파악, 이력에 의존하는 진행 추적, 회복 평가에서 오류를 보였다고 한다.
HOLI-World는 1인칭 시점 녹화 영상으로부터 대규모 학습 자원을 자동으로 구축하는 통합 생태계이다. 자체 수집한 약 100개 장면의 데이터로 약 8만 쌍의 QA 쌍을 만들었으며, 이를 HOLIWORLD-VL-4B 학습에 사용했다. 이 학습을 통해 HOLIWORLD-Bench와 EgoDynamic4D에서의 공간·시간 추론 성능이 크게 향상된 것으로 알려졌다.
SpecMRL은 학습된 스펙트럼 기저로 특징 공간을 재편성하여 압축된 임베딩의 품질을 높이는 기법이다. MTEB 실험에서는 평가한 모든 축소 차원에서 표준 MRL(Matryoshka Representation Learning)을 능가했으며, 압축률이 높을수록 그 차이가 커졌다. 임베딩 차원이 절반이어도 전체 차원의 MRL을 능가하는 결과를 보였다.
이미 도입된 로봇들이 실행 경험을 공유해 공통 정책을 개선하는 학습 패러다임 '집합적 경험 학습(CEL)'을 제안한다. 실패 시의 문맥에서 공유된 성공 경험으로부터 관련 궤적을 검색하고, 그 행동을 교사 신호로 삼아 정책을 갱신하는 FERT를 통해 추가 전문가 수정 없이 5개의 실제 환경 조작 과제에서 93.3~99.2%의 성공률을 달성했다. 다단계 전화기 포장 과제에서는 96대의 로봇이 학습한 결과 성공률이 79.2%에서 98.3%로 향상됐다.
OvisOCR3는 문서 분석, 일반 OCR, 핵심 정보 추출, 문서 도표 캡션 생성, 페이지를 넘나드는 표 재구성을 단일 모델로 수행하는 0.8B 시각언어 모델이다. OmniDocBench v1.6에서 종합 점수 96.74를 기록했으며, OCRBench v2에서는 영어 65.9, 중국어 61.3으로 1위를 차지했다. 5개의 4B 교사 모델로부터의 다중 교사 증류와 이후의 강화학습으로 학습되었다.
HABIT-Bench는 식사·금융·소프트웨어·여행 4개 분야에서 수백 세션에 걸친 합성 사용자 이력으로부터 에이전트가 습관을 추정할 수 있는지 평가하는 벤치마크다. Qwen3-235B-A22B와 GLM-5.3-Flash에 8가지 메모리 기법을 적용해 평가한 결과, 가장 우수한 구성에서도 4지선다 과제의 macro accuracy는 33.61%에 그쳐 무작위 추측 수준인 25%를 크게 넘지 못했다. 주석이 달린 증거를 직접 제공했을 때도 큰 오류가 남아, 관련 이력을 찾아내는 것만으로는 충분하지 않다는 점이 드러났다.
가상 세계의 체화형 에이전트는 지속적 사전학습에서 데이터량, 다양성, 모델 규모를 늘릴수록 학습 성능이 향상되지만, 멀리 떨어진 세계로의 일반화에는 한계가 있는 것으로 나타났다. 검증에는 0.8B부터 27B까지 4가지 모델 크기, 50시간부터 1,600시간까지의 데이터량, Minecraft만 사용한 데이터부터 다양한 멀티월드까지 5종의 혼합 데이터로 구성된 120개의 학습 설정이 활용됐다. 3D 세계에서는 Minecraft 전용 모델 및 프런티어 모델과 경쟁했으며, 실시간 설정에서 가장 높은 성능을 보였다.
Google 팀이 Ai2의 Olmo 3 7B를 MaxText 기반 Google Cloud TPU에서 1단계 사전학습과 2단계 mid-training annealing까지 재현했다. 홀드아웃 C4 손실과 8개 태스크 정확도는 Ai2의 참조 실행과 거의 동등했으며, 실행 간 노이즈 범위 내라고 보고했다. Ironwood에서는 44.5% MFU, v5p에서는 57.4% MFU를 기록했다.
Ropedia W0는 인간과 로봇의 데이터를 통일된 운동학 표현으로 다루는 크로스 엠바디먼트 방식의 이동·조작용 세계 기반 모델로, DreamDojo, Ψ_0, ω-HOME, Xp-Teleop, AgiBot 등 5개 벤치마크에서 최고 수준의 성능을 보였다고 한다. 학습에는 1만 시간 분량의 1인칭 시점 인간 데이터와 3천 시간 분량의 로봇 데이터로 구성된 Xp-Data가 사용됐다. 증류 이후에는 실시간으로 분 단위의 롤아웃을 처리할 수 있어 라이브 VR 상호작용이 가능해졌다.
WildAWM은 대화를 통해 범용 컴퓨터 조작 에이전트를 훈련하기 위한, 제어 가능한 환경과 과제를 합성하는 파이프라인이다. GUI, Model Context Protocol(MCP) 서비스, CLI를 동시에 다룰 수 있는 실행 가능한 환경을 오픈소스 모델만으로 구축한다.
CoworkEnv는 AI 코워커를 위한 실행 가능한 학습 환경을 워크플로에 맞춘 과제 구성과 프로그램 기반 검증으로 합성하는 프레임워크다. Qwen3-VL-8B-Instruct를 기반으로 한 소형 PocketWorker 모델은 SFT를 통해 Claw-Eval 평균 점수가 46.6에서 64.1로 향상됐으며, 다중 턴 과제에서는 31.9포인트 상승했다.
LayerEditor는 지시 기반 이미지 편집과 재사용 가능한 RGBA 레이어 생성을 통합한 프레임워크다. 편집 후의 캔버스와 RGBA 레이어 열을 하나의 토큰 열로 다루며, 사전 학습된 모델의 편집 사전 분포를 증류해 편집 능력을 유지한다. 실험에서는 편집의 충실도를 유지하면서 정확한 RGBA 레이어를 생성했고, 레이어 단위 조작과 다층 분해를 지원함을 보였다.
RAP는 기계학습 분야 주요 학회에서 2022년부터 2026년까지 발표된 논문과 포스터의 검증된 쌍 25K 이상을 담은, 논문으로부터 포스터를 생성하기 위한 데이터셋 및 벤치마크이다. 각 포스터는 타입이 지정되고 교체 가능한 슬롯을 가진 HTML/CSS로 자동 변환되며, 원본 포스터와의 렌더링 비교를 통해 검증할 수 있다. 학습이 필요 없는 다중 에이전트 기법 PosterRAG는 기존 포스터를 검색하여 레이아웃과 스타일을 바꾸지 않고 슬롯을 채운다. 같은 데이터로 SFT와 RL을 통해 학습한 전용 모델도 함께 제시되었다.
MRTPO는 다중 보상 강화학습에서 각 보상의 advantage를 해당 검증기가 확인하는 토큰에만 할당하는 기법이다. 보상마다 정책이 자신의 응답을 검증기 정보가 있는 경우와 없는 경우로 다시 생성하고, 다음 토큰 분포의 Jensen-Shannon 거리로 각 토큰의 관련도를 측정한다. 보조 모델이나 토큰 단위 주석은 필요하지 않으며, text-to-SQL, 복수 제약 지시 따르기, 도구 호출에서 기존 기법보다 빠르게 수렴하고 높은 성능을 보였다.