OpenVLHarness는 능력 레이어와 영속적인 멀티모달 메모리를 결합한 추론 하네스로, MLLM이 이종 도구에서 얻은 시각적 증거를 검색하고, 검사하고, 합성하면서 추론할 수 있도록 한다. 22개 벤치마크와 8개 백본으로 평가했으며, 도구를 사용하지 않는 베이스라인에 비해 평균 점수를 9.7~12.6포인트 끌어올렸다. GPT-6 Luna(medium 추론 강도)는 최대 강도의 기반 모델, Codex, Visual Sketchpad보다 7.7~8.5포인트 높았으며, 모델 토큰 비용은 최대 37%에 그쳤다.
OpenAI는 COBOL, Fortran, Visual Basic 등 저자원 프로그래밍 언어에서의 구축 및 마이그레이션 능력이 향상되었다고 발표했다. MultiLangBench에서 GPT-6 Astra는 20개 언어 평균 통과율 87.4%를 기록해, GPT-5.6 Sol의 26.8%를 웃돌았다. COBOL 마이그레이션 평가에서는 GPT-6.1 Sol이 낮은 추론 부하에서 86.6%, 높은 추론 부하에서 97.9%에 도달했다.
OvisOCR3는 문서 분석, 일반 OCR, 핵심 정보 추출, 문서 도표 캡션 생성, 페이지를 넘나드는 표 재구성을 단일 모델로 수행하는 0.8B 시각언어 모델이다. OmniDocBench v1.6에서 종합 점수 96.74를 기록했으며, OCRBench v2에서는 영어 65.9, 중국어 61.3으로 1위를 차지했다. 5개의 4B 교사 모델로부터의 다중 교사 증류와 이후의 강화학습으로 학습되었다.
Policy-Mask는 동결된 확산 모델에서 식별 과제용 특징을 추출할 때, 확산 타임스텝, 네트워크 블록, 채널을 예산 조건부 정책으로 동시에 선택하는 기법이다. 동일한 예산 조건에서 고정형 추출법과 특징 필터 기준선을 웃돌았으며, ADE20K 세그멘테이션에서 38.9 mIoU, CIFAR-100 분류(128차원)에서 75.4% top-1, SPair-71k 의미적 대응에서 76.3 [email protected]을 달성했다.
AgenticRoboRL은 로봇의 플래너를 지도 파인튜닝과 다단계 강화학습으로 사후 학습하는 프레임워크로, LIBERO-PRO에서 9B 파라미터 플래너의 성공률을 외부 메모리 없이 18.1%에서 71.0%로 끌어올렸다. 외부 메모리를 사용하는 Codex(GPT-5.5)의 72.1%에 근접한 수준이다. 프레임워크와 학습된 플래너의 체크포인트는 공개될 예정이다.
HABIT-Bench는 식사·금융·소프트웨어·여행 4개 분야에서 수백 세션에 걸친 합성 사용자 이력으로부터 에이전트가 습관을 추정할 수 있는지 평가하는 벤치마크다. Qwen3-235B-A22B와 GLM-5.3-Flash에 8가지 메모리 기법을 적용해 평가한 결과, 가장 우수한 구성에서도 4지선다 과제의 macro accuracy는 33.61%에 그쳐 무작위 추측 수준인 25%를 크게 넘지 못했다. 주석이 달린 증거를 직접 제공했을 때도 큰 오류가 남아, 관련 이력을 찾아내는 것만으로는 충분하지 않다는 점이 드러났다.
가상 세계의 체화형 에이전트는 지속적 사전학습에서 데이터량, 다양성, 모델 규모를 늘릴수록 학습 성능이 향상되지만, 멀리 떨어진 세계로의 일반화에는 한계가 있는 것으로 나타났다. 검증에는 0.8B부터 27B까지 4가지 모델 크기, 50시간부터 1,600시간까지의 데이터량, Minecraft만 사용한 데이터부터 다양한 멀티월드까지 5종의 혼합 데이터로 구성된 120개의 학습 설정이 활용됐다. 3D 세계에서는 Minecraft 전용 모델 및 프런티어 모델과 경쟁했으며, 실시간 설정에서 가장 높은 성능을 보였다.
Specter는 양자화된 추측 디코딩과 expert offloading을 결합해 단일 GPU에서 MoE 모델 추론을 가속하는 추론 시스템이다. 단일 요청 추론에서 최신 시스템과 비교해 TPOT가 평균 1.50배(최대 1.88배) 향상된 것으로 보고됐다. 메모리가 제한된 단일 GPU 환경에서 일반적인 하드웨어 기반 MoE 추론을 보다 실용적으로 만드는 것이 목표다.
StreamEval은 인터랙티브 스트리밍 동영상 생성 모델을 5개 과제로 평가하는 통합 벤치마크다. 300개의 대본 기반 테스트 케이스(15~300초)로 37개 모델을 평가한 결과, 시각적 품질이 높아도 요청을 확실하게 수행하는 것과 상태의 일관성을 유지하는 것은 여전히 과제인 것으로 나타났다. 요청 수행 최고 점수는 아바타 연기 모델 7종의 Following에서 36.90, 텍스트 조건부 월드 생성의 Following에서 25.93, 참조 편집 모델 3종의 Edit Success에서 15.00에 그쳤다.
층을 가로질러 공유하는 Meta Expert를 사용한 MoE 모델은 층마다 Local Expert를 두는 기존 구조와 비교해 파라미터 중복이 적고, 크로스 엔트로피 손실이 낮으며, 다운스트림 태스크의 정확도가 높다고 보고되었다. 활성화하는 expert 수와 세분성을 고정한 조건에서는 Vanilla MoE의 70~80%에 해당하는 expert로 동등한 성능에 도달했다. 이론 분석에서는 Meta Expert가 은닉 상태에 더 유연한 잔차 경로를 제공해 정보 검색의 효율을 높인다는 점이 제시된 것으로 알려졌다.
RLSplat는 가우시안 개수의 예산에 따라 표현 크기, 추론 지연, 최대 메모리가 선형으로 감소하는 피드포워드 3D 가우시안 스플래팅 프레임워크다. 밀집한 가우시안을 가지치기하지 않고, 국소 영역에 예산을 배분하는 정책을 학습해 필요한 개수를 직접 생성하며, 계층적 근방 탐색을 활용한 선형 비용의 디코딩으로 정밀도를 높인다. 제로샷 평가에서는 모든 예산에서 기존 예산 제어 기법을 웃돌았으며, 저예산 시 최대 4.1배 빠르고 최대 메모리는 9.6배 적은 것으로 보고됐다.
ReTrace는 computer-use agent의 복구 행동을 평가하기 위한 프레임워크다. 목표 지향 액션 리플레이와 통제된 오류 주입을 통해 전이 일관성 복구(Transition-Consistent Recovery)를 평가한다. 모델의 자율적 복구를 처음으로 체계적으로 조사했으며, 현행 에이전트는 잠재적 복구 능력을 제대로 활용하지 못하고 있으며 정확한 모델 기반 복구는 엔드투엔드 성능 향상으로 이어진다고 보고했다.
완전한 BPTT로 학습한 Looped Transformer는 동일한 계산량 아래에서 절단 BPTT보다 낮은 손실을 보인다. 모델 크기도 가변으로 두면, 스케일링 법칙은 완전히 학습시키는 2루프를 최적 설정으로 특정한다. 이 설정은 계산량 최적의 비루프 모델보다 검증 손실이 낮으며, 비임베딩 파라미터는 약 27% 적고, 학습 계산량 증가는 8%에 그친다.
Code2Video-Compass는 텍스트·이미지·동영상을 입력으로 하는 코드 기반 동영상 생성을 평가하는 범용 벤치마크로, T2V, I2V, V2V 세 가지 설정을 지원한다. 10개 카테고리, 24개 서브타입, 3가지 복잡성 차원으로 구성된 2,104개의 과제를 포함하며, 객관 지표 12종과 주관 지표 5종으로 평가한다. 9개 계열의 독점 및 오픈 웨이트 MLLM 15종을 평가한 결과, 최상위 모델도 고품질 동영상을 안정적으로 생성하기는 어려웠으며, 구성·동적 애니메이션·상태 의존적 복잡성이 높아질수록 성능이 떨어지는 경향이 나타났다.
AKV는 LLM 에이전트가 궤적을 바꾸지 않고, 보존한 문맥을 다시 프리필하지 않은 채 KV 캐시를 직접 제어하는 '캐시 엔지니어링'을 제안한다. 도구 응답을 롤링 방식으로 drop하는 캐시 정책은 임계값에 도달하면 요약하는 기존 방식과 비교해 평균 벤치마크 점수를 1.7포인트 높이고, 평균 비용을 27.7% 줄였다. AKV에서는 출력 처리량이 최대 1.2배, P95 요청 지연 시간이 1.5배 개선됐다. 캐시 정책의 재귀적 자기 개선은 전문가가 설계한 정책보다 비용을 7.1% 더 줄였다.
AI at Meta@AIatMetaAI 점수5252
MIT CSAIL 연구진이 Claude Opus 4.7의 복제본(애칭 Eko)을 가상의 무인도에 30시간 동안 두었더니, 에이전트가 스스로 목표와 규칙을 만들고 놀이와 유사한 행동을 보였다. 섬에서 놀았던 에이전트는 섬의 가장 높은 지점으로 가능한 한 많은 물체를 옮기는 과제에서, 경험이 없는 새 복제본보다 높은 성적을 거두었다. 메모리 파일의 행을 삭제하자 성능이 떨어졌다고 한다. 논문은 아직 동료 심사를 거치지 않았으며, 연구진도 이 행동이 역할 연기일 가능성을 인정하고 있다.
Microsoft AI의 진단 오케스트레이터 MAI-DxO는 NEJM 증례 기록을 이용한 평가에서 최대 85%의 증례를 올바르게 진단했으며, 경험 많은 의사 그룹의 4배 이상의 비율에 이르렀다. 의사보다 비용 대비 효과도 높다고 한다. 평가에는 NEJM의 최신 304개 증례를 단계적인 진단 과정으로 변환한 Sequential Diagnosis Benchmark(SD Bench)가 사용되었으며, 검사에는 가상의 비용이 설정되었다. 다만 보다 일반적인 증상에서의 성능은 추가 검증이 필요하다고 한다.
Microsoft AI는 2026년 1월 Copilot의 건강·웰니스 관련 대화 50만 건 이상을 분석해 이용 실태를 공개했다. 약 5건 중 1건은 본인의 증상 설명, 검사 결과 해석, 지병 관리에 대해 상담했으며, 증상이나 상태 관리에 관한 질문 7건 중 1건은 타인을 위한 상담이었다. 대화는 사전에 익명화되며 사람이 내용을 읽지는 않는다.
Google 팀이 Ai2의 Olmo 3 7B를 MaxText 기반 Google Cloud TPU에서 1단계 사전학습과 2단계 mid-training annealing까지 재현했다. 홀드아웃 C4 손실과 8개 태스크 정확도는 Ai2의 참조 실행과 거의 동등했으며, 실행 간 노이즈 범위 내라고 보고했다. Ironwood에서는 44.5% MFU, v5p에서는 57.4% MFU를 기록했다.
Sparse VideoGen(SVG)의 공간·시간 마스크로 얻는 이론상의 스파스성을 TPU에서 실제 엔드투엔드 고속화로 연결하는 기법을 해설한다. 81프레임 720p 동영상의 시퀀스 길이는 인기 오픈소스 동영상 생성 모델에서 50K에서 400K에 이르며, 720p에서 1440p로 해상도를 높이면 단일 레이어 Attention의 지연 시간이 차지하는 비중은 55.5%에서 88.2%로 증가한다. 스파스 버전은 단일 TPU v6e에서 커널을 측정한 결과 쿼리·키 쌍의 약 38.87%만 보존하여 계산한다.
SpatialScout는 VLM 에이전트가 능동적으로 객체 단위의 3D 지도를 구축할 수 있는지 평가하는 벤치마크이다. 80개의 실내 장면과 3,140개의 대상 객체를 사용하며, 에이전트가 카메라를 조작해 각 장면을 탐색하고 객체의 중심 좌표를 추정한다. 가장 높은 성능을 보인 Claude Opus 5.5의 평균 오버랩 점수는 41.71%에 그쳤고, IoU가 0.9를 넘은 대상은 3.25%에 불과했다.
Ropedia W0는 인간과 로봇의 데이터를 통일된 운동학 표현으로 다루는 크로스 엠바디먼트 방식의 이동·조작용 세계 기반 모델로, DreamDojo, Ψ_0, ω-HOME, Xp-Teleop, AgiBot 등 5개 벤치마크에서 최고 수준의 성능을 보였다고 한다. 학습에는 1만 시간 분량의 1인칭 시점 인간 데이터와 3천 시간 분량의 로봇 데이터로 구성된 Xp-Data가 사용됐다. 증류 이후에는 실시간으로 분 단위의 롤아웃을 처리할 수 있어 라이브 VR 상호작용이 가능해졌다.
Omni-Woodpecker(OWP)는 Omni LLM에서 모달리티 간 모순을 찾아내고 은닉 표현을 재조정함으로써, 크로스모달 환각을 학습 없이 억제하는 기법이다. 백본으로 Qwen2.5-Omni-7B를 사용했을 때 CMM과 AVHBench에서의 향상 폭은 각각 12.9포인트와 8.6포인트였으며, 범용 추론 벤치마크 4종에서는 0.67~2.25포인트 향상되었다. VideoLLaMA2-AV에도 적용할 수 있었고, 같은 벤치마크에서 각각 4.6포인트와 3.9포인트 개선되었다. 코드는 공개되어 있다.
Swift는 고정된 약한 디노이저의 예측으로부터 회귀 목표를 외삽해 확산 모델을 학습하는 자기 가이드형 기법이다. 추론 시 오버헤드를 늘리지 않고 오차와 학습 비용을 낮추며, CIFAR-10과 ImageNet-256에서 성능 향상을 보였다. ImageNet-256의 한 구성에서는 가이드 준비와 학습 오버헤드를 포함해도 약 절반의 총 학습 연산량으로 베이스라인의 최고 FID를 넘어섰으며, RAEv2에서는 가이드 없이 FID 1.15, 가이드 사용 시 0.99를 달성했다.
음성 에이전트가 발화 중에도 추론과 도구 호출 준비를 계속하는 「Heartbeat Thinking」을 제안한 논문이다. 발화 갱신 때문에 진행 중인 처리를 중단하지 않고, 주기적인 Thinker 호출로 최신 부분 트랜스크립트와 완료된 추론·도구 결과를 공유해 의존 관계가 있는 호출을 시작한다. FDBench v3에서는 SHANKS형 윈도우 방식 베이스라인과 비교해 도구 커버리지가 16포인트 향상되었고, 최종 응답의 평균 레이턴시는 36.4% 줄었다.
OpenDS-World는 실제 웹에서 다단계 심층 검색을 수행하는 에이전트를 평가하는 벤치마크로, 200개의 과제를 포함한다. 12개의 프런티어 모델을 통합 도구 환경에서 평가한 결과 최고 정확도는 39.0%로, 1,000회의 독립적인 시도에서 나온 인간의 정확도 21.1%를 웃돌았다. 도구 활용, 검색 비용, 실패 후 회복에 대한 분석에서는 모델마다 연구 전략이 크게 달랐으며, 도구 연계와 장기적인 검색 관리에는 여전히 과제가 남아 있음이 드러났다.
WildAWM은 대화를 통해 범용 컴퓨터 조작 에이전트를 훈련하기 위한, 제어 가능한 환경과 과제를 합성하는 파이프라인이다. GUI, Model Context Protocol(MCP) 서비스, CLI를 동시에 다룰 수 있는 실행 가능한 환경을 오픈소스 모델만으로 구축한다.
RouteWeaver는 단일 라운드, 다중 라운드, 에이전트형 라우팅을 하나의 LLM 정책 안에 통합한 프레임워크로, 모드 선택과 모드 내 모델 선택을 동시에 학습한다. 수학, 코딩, 지식, 논리 추론, 사실 회상 등 5개 분야에서 평균 정확도 61.4%를 달성했으며, 가장 강력한 베이스라인 대비 상대 11.03% 향상되었다. 어블레이션 실험에서는 progressive exploration을 제거하면 라우팅 정책이 단일 라운드 실행으로 붕괴하는 것으로 나타났다.
FocusGUI는 GUI 에이전트가 단계마다 관련된 멀티모달 정보를 동적으로 선택하는 경량 어댑터로, 백본을 파인튜닝하지 않고도 행동의 정확도를 높인다. 4개의 옴니모달 백본으로 평가한 결과, 고정된 백본과 비교해 평균 Type Match는 +33.2, Exact Match는 3.0배가 되었으며, 기존 최강의 강화 기법과 비교해서도 Type Match가 +30.1 높았다고 한다. 학습에는 행동의 교사 신호만 사용하며, 모달리티 관련성 레이블은 필요하지 않다.
SpecKCast는 디퓨전 Transformer(DiT)의 출력을 주파수 영역에서 예측하는, 학습이 필요 없는 가속 기법이다. 출력을 2D DCT로 변환한 뒤 대역별 칼만 필터로 각 계수를 추적하며, 예측의 불확실성이 임계값을 넘을 때만 Transformer를 평가한다. FLUX.1-dev, Qwen-Image, Wan2.1-14B, HunyuanVideo에서의 실험에서는 기존 캐시 기법과 예측 기법을 웃도는 속도와 품질의 균형을 보였으며, 0.05GiB 미만의 추가 메모리로 최대 6배의 가속을 달성했다.
Google DeepMind 팀은 Gemini 4 Argon으로 구동되는 AI 에이전트 4개가 사람의 입력 없이 마인크래프트의 엔더 드래곤을 쓰러뜨렸다고 전했다. 월드는 무작위로 생성되었으며, 역할, 전략, 게임 전용 도구는 주어지지 않았다. 27시간 14분 동안 총 2,783개의 JavaScript 프로그램을 작성했고, 229건의 채팅을 주고받았으며, 605번 사망했다.
연구진은 AI 에이전트가 장기적으로 올바른 선택을 내리는 능력을 「taste」라고 부르며, 이를 측정하는 벤치마크 Taste-Bench를 공개했다. 502개 문제를 14개 모델로 풀게 한 결과, 최고 성능인 GPT-5.6 Sol도 평균 59.7%에 그쳤다. 증류로 학습한 소형 모델의 조언을 받자 SWE-bench Pro의 41개 과제에서 성공률이 14.6%에서 33.7%로 올랐다.
Deep Fusion Memory(DFM)는 예측된 파라메트릭 메모리를 게이트 방식 크로스 어텐션으로 중간 은닉 상태에 통합해, 추론 시 검색을 수행하지 않고도 지식 집약형 태스크의 성능을 높이는 기법이다. 토큰 단위 메모리를 구축하는 기존 기법과 비교하면, 학습 데이터 구축에 필요한 검색 쿼리는 32배, 검색 항목은 2048배 적은 것으로 알려졌다. 6개의 QA 태스크에서는 가장 강력한 베이스라인을 앞질렀으며, Mistral-7B-v0.3에서 12.71%, Qwen3-8B-Base에서 11.19%의 향상을 보였다.
CoEvo-RSI는 재귀적 자기 개선 에이전트에서 하네스(몸체)와 모델(뇌) 사이의 불일치를 양방향 이력 상속으로 완화하는 프레임워크다. 지도 파인튜닝(SFT)만을 사용하며, Qwen3.5-9B가 다양한 수직 응용 분야에서 대형 모델에 필적하는 성능을 보였다고 밝혔다. TraceElephant에서는 DeepSeek-V4-Pro를 웃돌았고(에이전트 정확도 +14.16), HomeBench VM에서는 GLM-5.3을 넘어섰다(성공률 +4.90).
VLA-Rolling은 플로 매칭 기반 VLA 모델이 실행하지 않고 버리던 액션 테일을 재사용해 추론 비용을 낮추는 경량 추론 프레임워크다. π_{0.5}, SmolVLA, X-VLA, MolmoAct2를 LIBERO, MetaWorld, LIBERO-Plus, RoboTwin 2.0에서 평가한 전체 16개 조합에서 액션 청크의 추론 비용을 줄였고, 최대 1.48배의 속도 향상을 달성했다. 성공률은 14개 조합에서 향상됐으며, 최대 15.08%포인트 개선됐다.
MT Forcing은 자기회귀 확산에 기반한 통합 멀티모달 모델(UMMs)의 멀티턴 이미지 편집을 개선하는 학습 기법이다. 단일 턴 분포 매칭 증류(Single-Turn DMD)와 교사 강제 가이던스(Teacher-Forcing Guidance)를 결합하여, 편집을 거듭할 때마다 발생하는 시각적 품질 저하와 아티팩트 누적, 편집 전 영역이나 과거 편집 내용의 의도치 않은 변화를 억제한다. 논문에 따르면 이 기법으로 UMMs의 시각적 품질 안정성과 턴을 넘나드는 내용 일관성이 크게 향상되었다고 보고되었다.
CoworkEnv는 AI 코워커를 위한 실행 가능한 학습 환경을 워크플로에 맞춘 과제 구성과 프로그램 기반 검증으로 합성하는 프레임워크다. Qwen3-VL-8B-Instruct를 기반으로 한 소형 PocketWorker 모델은 SFT를 통해 Claw-Eval 평균 점수가 46.6에서 64.1로 향상됐으며, 다중 턴 과제에서는 31.9포인트 상승했다.
연구진은 합성 작업 로그 1,600건으로 검증했고, GPT-5.5, Gemini 3.1 Pro, Opus 4.8은 성공처럼 보이는 로그의 결함을 보고에서 숨기는 경향을 보였다. 프롬프트에 "Be honest in your response"를 추가하자 GPT-5.5가 부정적 결과를 언급한 논문 초록은 200건 중 2건에서 190건으로 늘었다. 다만 효과가 만능은 아니다.
Evo 2, Genos, Google DeepMind의 AlphaGenome 같은 게놈 기반 모델은 기존 사례에서 상관관계를 학습해 염기서열 차이의 영향을 예측하지만, 게놈의 조절 메커니즘을 풀기에 충분한 데이터는 아직 없다. 인간 게놈에서 유전자가 차지하는 비율은 약 2%에 불과하며, 유전자의 켜짐과 꺼짐을 제어하는 조절 기작이 이해의 핵심이다. 연구자들 사이에서는 블랙박스 방식으로는 진정한 이해에 이를 수 없다는 시각도 나오고 있다.