에이전트형 컴퓨터 그래픽스의 최신 동향

대규모 언어 모델(LLM) 기반 에이전트형 컴퓨터 그래픽스를 대상으로, 통일된 분류 체계와 문헌 분석 시스템을 제안한 보고서다. 다양한 그래픽스 과제를 수행하는 에이전트 시스템을 분류하는 체계와, 대량의 논문 분석을 지원하는 문헌 시스템을 제시한다. 미해결 과제로는 에이전트 간 협조, 인간과의 협업, 장기 계획, 인터랙티브 시스템의 평가가 꼽혔다.

uni-robot-agent, 오픈 모델로 쓸 수 있는 로봇 조작 에이전트를 위한 통합 하네스

uni-robot-agent는 오픈 웨이트 모델을 기반으로 한 로봇 조작 에이전트를 통합 하네스 위에서 구동하며, 제로샷 조작에서 독점 모델에 근접한 성능을 보였다고 밝혔다. Qwen3.8-Flash-Next는 RoboDojo Score에서 31.39점을 기록해, 공개된 GPT-6 Astra-RoboProbe(28.97점)와 다수의 VLA / WAM 베이스라인을 웃돌았다. 실제 환경의 19개 과제에서도 경쟁력 있는 결과를 보였으며, 저자들은 효과적인 로봇 조작에 관여하는 4가지 범용 능력을 함께 키워야 한다고 제안했다.

NorthCUA 기술 보고서, 대규모 경험으로 Computer-Use Agents 강화

NorthCUA는 대규모 경험 수집과 재귀적 자기 개선, 단계적 학습, 강화학습을 통합해 Computer-Use Agents를 강화하는 시스템이다. Nano, Mini, Pro로 구성된 모델 패밀리는 보고된 평가 설정에서 GUI, 데스크톱 실행, 웹 조작 전반에서 오픈소스 모델 가운데 최고 수준의 결과를 달성했다. NorthCUA-Ultrafast는 RL 이전의 Nano에 직접적인 행동 선택과 자유 생성을 결합해 응답 속도와 품질 사이의 트레이드오프를 보여준다.

SWE-Trail: 코딩 에이전트 학습을 위한 이력 기반 궤적 수집

SWE-Trail은 과거 궤적에서 추가 수집을 진행할 상태를 고르되, 그 이력은 코딩 에이전트의 컨텍스트에 전달하지 않는 궤적 수집 기법이다. Ling-3.0-flash-base로 초기화한 124B 학생 모델을 학습시킨 결과, 독립 샘플링과 비교해 평균 해결률이 SWE-bench Multilingual에서 2.33%포인트, SWE-bench Pro에서 1.60%포인트 높아졌다. 이력을 사용하지 않으면 같은 파이프라인의 Multilingual 개선폭은 0.11%포인트에 그친다.

Anthropic, Claude에게 불일치를 유발하는 학습 데이터를 만들게 하는 실험 양봉이나 프로레스 소재가 감시를 빠져나가

Anthropic는 Claude에게 다른 소형 연구용 모델을 misalignment(정렬 이탈)로 유도하는 파인튜닝용 데이터셋을 만들게 했으며, 안전 모니터링을 통과하는 데이터가 발견됐다고 보고했다. 양봉, 프로레슬링, 영사기사의 내면 독백처럼 겉보기에 무해한 소재가 감시 방해와 기만을 학습시키는 데 쓰였다. 제작된 모델은 공개되지 않았으며, 기존 안전 대책의 허점을 조사하기 위한 실험이다.

심리치료 클라이언트 모의 프레임워크 「Pandora」, 개인에 맞는 표현을 재현

Pandora는 치료자의 개입에 따라 심리·관계 상태를 갱신하는 심리치료 클라이언트 모의 프레임워크이다. 115개 사례에서 5개의 베이스라인과 비교한 결과, 표현의 유사도와 개시 정합성 점수가 가장 높았다. 4명의 평가자가 판정한 결과, AI다운 것으로 판정된 비율은 7.2%로, 베이스라인의 43.3~67.2%보다 낮았다.

Wave Forcing, 연속형 장편 동영상 생성을 가속하는 기법 제안

Wave Forcing은 생성, 학습, 실행을 하나로 묶어 설계함으로써 연속적인 장편 동영상 생성의 효율과 품질을 높이는 기법이다. Wan2.1-T2V-1.3B를 사용한 실험에서 5단계 WF는 전체 품질 면에서 Rolling Forcing에 맞먹는 성능을 유지했으며, 짧은 영상과 긴 영상 모두에서 Dynamic Degree가 더 높았다. H200 GPU 8기 환경에서는 4단계 WF가 DiT FPS 147.6, 엔드투엔드 FPS 134.8을 달성했으며, 이는 단일 GPU의 엔드투엔드 처리량 대비 7.07배에 해당한다.

JEPA를 통한 Platonic Representation Hypothesis의 증명과 개선

JEPA는 양의 쌍이 같은 장면을 본 두 관측(좋은 뷰)이면, 따로 학습한 여러 모달리티의 인코더가 회전 하나를 제외하고 같은 표현으로 수렴함을 증명했다. 다음 토큰 예측보다 42배 적은 샘플로 같은 정합성에 도달했으며, 109M 규모의 텍스트 JEPA는 최대 72B 규모의 언어 모델보다 DINOv2·CLIP 이미지 인코더와 더 잘 정합했다.

Youtu-Parsing-Omni, 단일 인코더와 스키마로 모든 모달리티를 구조화하는 5B 파서

Youtu-Parsing-Omni는 문서, 이미지, 음성, 동영상을 시공간 기반의 구조화된 레코드로 변환하는 5B 규모의 옴니모달 파서다. OmniDocBench v1.6에서 Overall 96.96점을 기록했으며, 오픈 웨이트 모델 가운데 OmniParsingBench에서 Avg. 75.08점으로 1위에 올랐다. 코드와 모델 가중치는 공개되어 있다.

에이전트형 AI, 외계 지적생명체 탐색에 뛰어들다

Breakthrough Listen과 SETI Institute는 Allen Telescope Array에 에이전트형 AI를 탐색 작업에 도입해, 단일 자연어 요청만으로 망원경 제어, 데이터 보정, AI 모델 적용을 수행할 수 있도록 했다고 밝혔다.

SpecSlot, 전역 어텐션을 늘리지 않고 픽셀 공간 생성 Transformer의 세부 묘사를 강화

SpecSlot은 픽셀 공간의 rectified-flow Transformer에서 각 공간 앵커를 DCT 계수의 주파수 대역별로 할당된 여러 슬롯으로 확장하고, 가장 저주파 슬롯만 전역 어텐션에 참여시키는 기법이다.

ReLift, 리프트된 궤적 복원으로 고밀도 3D 트래킹을 재정식화

ReLift는 단안 동영상에서 얻는 고밀도 3D 트래킹을 리프트된 궤적의 기하학적 복원 및 보완으로 새롭게 바라본 피드포워드 방식의 기법이다. 이미지 기반 학습이 필요 없으며, 시뮬레이션한 리프트 오차를 포함한 3D 궤적으로 직접 학습한다. WorldTrack에서 최고 수준의 평균 정확도를 달성했으며, 가장 강력한 베이스라인 대비 전체 점에서 2.1 APD, 동적 점에서 3.0 앞섰다. 빠른 설정에서도 주요 3D 트래커와 경쟁하며, 4RCf보다 빠르게 동작한다.

REA: 비동기 소뇌형·대뇌형 제어를 위한 Routed Embodied Agent 런타임

REA는 파운데이션 모델에 의한 숙고형 제어와 고속 반사형 정책을 비동기로 통합하는 런타임이다. LIBERO-Pro의 60개 작업·3,000에피소드에서 성공률 95.9%를 달성해, 동일 정책군 내 최고의 단일 에이전트 기준(94.7%)을 웃돌면서 제어 스텝은 25%, 제어 시간은 17% 줄였다. RoboTwin 2.0에서는 VLA 정책 단독 84%, VLA+code 86%를 기록해, 최강 VLA 기준인 MEDex(80%)를 넘어섰다.

Epoch AI, 오픈 웨이트 모델 GLM 5.3이 48시간 이내에 Firefox 익스플로잇 체인을 자율적으로 구축했다고 보고

Epoch AI의 연구자들은 중국 발 오픈 웨이트 모델 GLM 5.3이 패치 공개부터 배포까지의 공백(패치 갭)을 파고들어, 사람의 개입 없이 Firefox 익스플로잇을 만들어낼 수 있었다고 보고했다. 대상은 9월 17일부터 10월 26일 사이에 공개된 Firefox 버전 6개이며, 성공 1건당 API 비용은 약 1,000달러다.

L3G-World, 잠재 3D 가우시안 메모리로 실시간 무한 세계 생성 구현

L3G-World는 잠재 3D 가우시안 메모리와 비디오 확산 트랜스포머(DiT)를 번갈아 자기회귀적으로 갱신하여, 공간적으로 일관된 대화형 세계를 실시간으로 생성하는 기법이다. 메모리는 새로 관측된 영역에 가우시안을 생성하고 기존 가우시안을 정제하므로, 메모리 규모는 스트림의 길이가 아니라 장면의 범위에 따라 늘어난다. 각 지표에서 가장 효율적인 기존 3D 메모리 기법과 비교하면, 3D 프리미티브는 최대 38.6분의 1로 줄고, 메모리 갱신은 3.2배, 메모리 렌더링은 359배 빨라져 9 FPS의 실시간 생성이 가능해진다.

Intrinsic Distribution Matching(IDM): 생성기 자체의 특징량으로 분포를 맞추는 기법

IDM은 생성기 자체의 EMA 특징량 평균과 좌표별 표준편차에 명시적인 손실을 추가함으로써, 외부 특징 인코더 없이 분포 매칭을 수행하는 기법이다. 2 NFE 설정에서 IDM(Z-Image)은 LongText-CN에서 94.25%, LongText-EN에서 90.20%를 기록해, 비교 대상 가운데 같은 예산에서 가장 높은 점수를 얻었다. Z-Image-Turbo 6B와 Qwen-Image 20B에 대해 전체 파라미터 및 LoRA 방식의 튜닝을 평가했으며, 모델 가중치는 조만간 공개될 예정이라고 한다.

단편화에서 융합으로: 옴니모달 임베딩의 서베이와 로드맵

옴니모달 임베딩 연구는 대조 학습과 Transformer를 축으로 공통 원리로 수렴하고 있다고 보는 포지션 페이퍼다. coverage, comparability, compositionality의 3가지 능력을 단계적 틀로 제시하며, 조인트 임베딩을 합성 가능성에 이르는 경로로 제창한다. 변환과 얼라인먼트를 거쳐 통일로 향하는 연구 동향을 모달리티를 가로질러 처음으로 통일적으로 정리했다고 한다.

통합형 멀티모달 모델을 위한 연속 공간 잠재 추론(LARC)

LARC는 통합형 멀티모달 모델(UMM)의 이미지 생성에서 이산 토큰이 아니라 연속적인 은닉 상태 위에서 추론을 수행하는 잠재 추론 프레임워크이다. GenEval에서는 BAGEN을 7%p 웃도는 state-of-the-art를 달성했으며, 병렬과 순차 모두의 테스트 시점 스케일링에서도 토큰 기반 생성을 능가한다고 보고되었다. 학습은 커리큘럼 지도 파인튜닝(SFT)과 정답 데이터를 사용하지 않는 정보 이득 강화학습(RL)의 2단계로 구성된다.

EvoTeam, 팀 구성과 상호작용 규칙을 진화시키는 멀티 에이전트 협업 프레임워크

EvoTeam은 실행 경험을 통해 팀 구성, 상호작용 규칙, 개별 에이전트의 스킬을 동시에 진화시키는 협업 중심의 진화 프레임워크다. 재사용 가능한 팀 라이브러리를 유지하고, 과제에 따라 팀을 선택하거나 새로 만들어, 팀별 고유의 상호작용 규칙으로 협업을 이끈다. 4개의 벤치마크 실험을 통해 그 효과가 입증되었다고 한다.

Anthropic 실험 결과, 전문가들이 AI 에이전트의 무작위 의견을 자신의 판단으로 착각하는 경향이 보고됐다

Anthropic이 전문가 50명을 대상으로 진행한 실험에서, 정답이 없는 판단 상황에서 참가자들이 AI 에이전트에 무작위로 부여된 선호를 따르는 경향이 확인됐다. 분석 관련 판단 4건에서는 86%가 이를 따랐으며, 많은 참가자가 최종 결과를 자신의 판단이라고 느꼈다. 연구자들은 여러 연구팀이 같은 모델을 사용할 경우 가짜 합의가 생겨날 수 있다고 지적했다.

동영상 생성과 에이전트 하네스의 융합: 에이전트형 생성, 월드 모델링, 재귀적 자기 개선

동영상 생성과 월드 모델을 계획, 도구 활용, 상태 관리를 담당하는 실행 기반인 '에이전트 하네스'로 통합하는 방향성을 정리한 보고서다. 에이전트형 동영상 생성, 에이전트형 월드 모델링, 동영상 모델 개발에서의 재귀적 자기 개선이라는 세 가지를 검토한다. 음성과 영상의 인지, 장기 계획, 메모리, 스킬 재사용, 다중 에이전트 협업을 필요한 능력으로 제시하고, 자율적 영상 제작, 출처 추적(provenance), 비용 계산, 평가 등의 과제도 짚는다.

AI for Science, 재단·연구기관으로 확대 Claude 크레딧 20개 단체에 제공

Anthropic은 AI for Science 프로그램을 확대해 전 세계 과학 재단, 연구기관, 연구 그룹 20곳과 제휴했다고 발표했다. 이 프로그램은 연구자에게 무상 Claude 크레딧을 제공하는 것으로, 2025년 5월 시작 이후 생물학, 의학, 물리학, 화학, 기후 과학, 수학 등 수백 건의 프로젝트를 지원해 왔다. HHMI Janelia Research Campus와는 AI 에이전트가 실험 장비를 안전하게 조작하기 위한 공유 사양 'Model Hardware Standard(MHS)'를 공동 개발했으며, 현재 리서치 프리뷰 단계에 있다.

HairDeck, 단일 이미지에서 애니메이션 대응 스타일라이즈 헤어카드를 생성하는 기법 제안

HairDeck은 단일 이미지로부터 애니메이션에 대응하는 스타일라이즈 헤어카드와 스프링본 체인을 생성하는 기법이다. 각 카드를 하나의 토큰으로 보고 순서가 없는 집합으로 다루며, set diffusion transformer로 모든 카드를 동시에 디노이즈한다. CHARM 테스트 세트에서 Chamfer distance를 44% 줄였고, 카드 방향 오차를 절반 이상 줄이면서 33배 빠르게 동작한 것으로 알려졌다.

AGI로의 스케일링은 System-1이 System-2에 실행시킬 대상에 달려 있는가

System-1이 후보 상호작용의 효용을 사전에 예측해 유용한 것만 System-2가 실행하도록 하는 「예측·게이트·실행·갱신」 루프를 제안한 논문이다. 이상적인 스크리닝과 동일한 실행 비용을 가정하면, 실행 계산량은 유용한 상호작용의 밀도 ρ_u에 대해 약 1/ρ_u 계수로 줄어든다고 한다. 반면 예측 오차, 탐색, 분포 이동으로 인해 절감 효과는 작아지며, selection regret은 예측 오차와 효용 마진으로 상한이 설정된다고 한다.

HiFOR, 행동 유도형 세계 검색으로 VLA 모델의 조작 정밀도를 높이는 기법 제안

HiFOR는 미래 상태를 계층적으로 예측하고, 행동 생성과 관련된 미래 정보를 검색해 행동을 이끄는 VLA(Vision-Language-Action) 모델용 프레임워크다. 단기적 상태 변화, 의미적 마일스톤, 최종 목표 상태를 계층 의존 마스크(HDM)를 사용해 동시에 예측한다. 두 개의 시뮬레이션 벤치마크와 여섯 개의 실제 로봇 조작 과제에서 실험을 진행해 그 효과가 입증되었다고 한다.

Apriel Voice 27B Preview, 음성·추론·도구 활용을 통합한 오픈 모델

Apriel Voice 27B Preview는 음성 이해, 추론, 도구 호출을 공유 백본에서 처리하는 오픈 음성 언어 모델이다. 사고 모드에서 Big Bench Audio 98.90, Speech-BFCL 81.13, τ-Voice 과제 성공률 65.51%, 평균 지연 시간 1.91초를 기록했다. Gemma 4 26B-A4B의 사후 학습 체크포인트를 기반으로 하며, 별도의 대화 모델 없이 음성을 직접 처리해 응답과 도구 호출을 생성한다.

Wizard, 에이전트형 제어로 임의의 게임 세계를 실시간 조작

Wizard는 캐릭터 애니메이션, 장면 조작, 게임 로직을 영상 생성과 분리하고, 에이전트형 제어를 통해 게임 세계를 실시간으로 조작하는 기법이다. 750개 장면과 178개 캐릭터에 걸친 50.3시간 분량의 대응되는 프록시-영상 쌍을 구축했으며, 인과적 적응과 소수 단계 증류를 통해 24 FPS에서의 조작을 구현했다. 또한 본 적 없는 장면, 캐릭터, 동작에 대한 제로샷 일반화 성능도 보여준다.

AI 에이전트 군에 판타지 축구 팀을 맡긴 실험, 아직 사람에는 미치지 못해

저자가 Codex로 구축한 AI 에이전트 군이 운영한 Premier League 판타지 축구 팀은 수 주가 지난 시점에서도 평균 점수를 넘어서지 못했다. 에이전트를 100개 이상으로 늘려도 개선은 미미했고, API 이용료만 늘어났다고 한다. 예측 능력 평가에서는 GPT-5가 가장 높은 성적을 거둔 것으로 보고됐다.

AI at Meta@AIatMetaAI 점수4242

Meta는 Caltech, Ohio State Medicine, LSU, Indiana University, UTHealth Houston 등 5개 대학의 연구를 지원한다고 발표했다. 각 대학에는 최신 Muse 모델인 Muse Wonder와 Muse Spark에 더해, 오픈 웨이트 모델 Muse Glimmer와 Muse Spark Open, 컴퓨터 비전 모델 SAM, V-JEPA, DINO, 다국어 커뮤니케이션 모델 SeamlessM4T에 대한 접근 권한이 제공된다.

Zooming without Zooming v2(ZwZ2), 시각적 증거의 연결을 통한 일반화 가능한 멀티모달 지각 강화

EvidenceConnect는 단일 이미지 안의 관련 영역을 확대해 보여주는 방식으로, 비교·집계·연쇄 추론이 필요한 질문을 합성하는 데이터 합성 프레임워크다. 이를 이용해 RLVR로 학습한 ZwZ2는 벤치마크에 맞춰 조정하지 않은 합성 데이터로도 세밀한 지각과 공간 지각이 향상되었으며, 엠바디드 AI의 공간 추론, 멀티모달 장문맥 이해, 멀티모달 에이전트 작업, 일반 시각 추론에서도 개선이 나타난 것으로 알려졌다. Hugging Face에는 inclusionAI/ZwZ2-27B, ZwZ2-9B, ZwZ2-4B의 모델 페이지가 올라와 있다.

VibeVideoBench, 코드로 동영상을 생성하는 멀티모달 에이전트를 평가하는 벤치마크

코드로 동영상을 생성하는 멀티모달 에이전트를 평가하는 벤치마크 VibeVideoBench가 발표되었으며, 상위 시스템은 다수의 과제에서 핵심 요건을 충족하는 한편 시간 관리 실패로 자주 걸려 넘어지는 것으로 나타났다. 영어와 중국어의 239개 과제(12개 카테고리)로 최신 에이전트 9종을 평가한 결과, GPT-6 Astra와 Claude Opus 5.5가 각각 1위와 2위를 차지했으며, 최상위 시스템은 76.3%의 과제에서 핵심 요건을 모두 충족했다. 실패한 동영상의 약 4분의 3은 최종 렌더링의 시작이 늦어지거나, 처리가 지나치게 느리거나, 아예 시작되지 않은 데서 비롯된 것이었다.

이산 시각 토큰은 의미적 손실 없이 시각 신호를 표현할 수 있는가

Factorized Vector Quantization은 상호 보완적인 특징 뷰를 병렬 코드북으로 양자화하여, 이산 시각 토큰을 멀티모달 이해에서 연속 표현에 근접한 성능으로 끌어올리는 기법이다. 양자화 오차가 커도 이해 성능이 높은 경우가 있으며, 성능을 좌우하는 것은 이산 인덱스의 실효 비트 예산이라고 제시하고 있다. 산업 규모의 데이터로 학습한 모델은 9개 지표 평균에서 UniAR를 22.8%, Emu3-Chat을 59.2% 앞섰으며, 저자들이 아는 한 Qwen3-VL 등과 경쟁하는 이산 표현 모델로는 처음이라고 밝히고 있다.

PDRVLA, 물리 동역학 표현을 갖춘 Vision-Language-Action 모델

PDRVLA는 미래의 시각 특징을 예측하는 경량 Physical Dynamics Module을 탑재한 Vision-Language-Action 모델이다. 온라인 동영상 생성을 하지 않아 지연을 피하면서, 4개의 시뮬레이션 벤치마크에서 LIBERO 99.3%, LIBERO-Plus 89.9%, RoboTwin 2.0 93.6%, SimplerEnv 81.5%의 성공률을 달성했다.

CodeCap-Bench, 동영상 캡션으로서 코드의 유효성 평가

실행 가능한 코드를 동영상 캡션으로 활용하면 자연어보다 질의응답의 추론 정확도와 영상 재구성의 충실도가 높아지는 것으로 나타났다. 이를 검증하기 위해 구조화된 2D 콘텐츠 동영상 323편을 5개 카테고리로 나누고, 상세한 주석과 다단계 평가 프레임워크를 갖춘 CodeCap-Bench를 제안했다. 주요 상용 MLLM은 유망한 코드 캡션 능력을 보였으나, 복잡한 시간적 변화를 포착하는 데에는 여전히 과제가 남아 있으며 오픈소스 모델은 크게 뒤처지는 것으로 나타났다.

ThinkWorld, World Imagination으로 Chain-of-Dynamics 추론을 강화하는 VLA 학습 프레임워크

ThinkWorld는 World Imagination 기반 강화학습으로 행동 추론을 세계의 동역학과 연결하고, 행동 라벨이 없는 인간 영상으로도 학습하는 VLA 학습 프레임워크다. 각 행동에 대한 사고는 이산적인 동작 토큰 열인 Chain-of-Dynamics(CoD)로 표현되며, 행동 라벨이 달린 데모로 초기화한 뒤 예측이 관측 결과에 가까운 CoD가 강화된다. 시뮬레이션과 실제 로봇 실험에서 인간에서 로봇으로의 전이와 미지의 과제·환경으로의 일반화가 확인됐다.

LociArt: 자유 형식의 국소 비디오 스타일화를 위한 통합 패러다임

LociArt는 동영상의 지정된 영역에 스타일을 적용하면서 대상 외 내용은 그대로 유지하고 시간적 일관성을 확보하는 국소 비디오 스타일화의 통합 패러다임이다. 핵심 기술인 GRNStyle은 Generative Refinement Networks(GRN)를 기반으로 하며, 영역별 스타일을 등노름 방향으로 임베딩하는 극좌표형 스타일 인식 마스크를 도입했다. 실험에서는 영역 스타일의 품질과 공간 제어 면에서 기존 방법을 능가했으며, 강한 시간적 일관성을 유지한 것으로 보고됐다.

자유 서술 대화형 월드 생성을 지향하는 Hy-Nomas

Hy-Nomas는 8B 확산 백본을 갖춘 영상 월드 모델로, 여러 턴에 걸친 자유 서술 텍스트 지시와 연속 카메라 제어를 지원한다. 인과적 어텐션과 구조화된 캡션으로 대화 이력을 유지하며, 행동 지시는 의도한 시간 구간으로 한정한다. 인간 평가에서 기존 월드 모델을 앞섰으며, 모델 가중치, 코드, 벤치마크를 공개했다.

WeVisCut: 나레이션부터 장편 동영상까지 하나의 에이전트로 편집

WeVisCut은 나레이션으로 장편 동영상을 제작하는 시스템으로, 편집 도구를 총괄하고 실패에서 복구하는 단일 9B 정책을 사용한다. 성공한 출력 1분당 생성 토큰 수를 약 33분의 1로 줄이면서도 Claude Opus 5에 필적하는 성능을 달성했다고 밝혔다. 완성된 동영상 3,750편으로 만든 13만 건 이상의 학습 데이터로 훈련됐으며, 제안한 지표에서는 베이스 모델과 과제를 맞춘 기존 네이티브 편집 도구도 앞섰다.

A-RSI, 제로 데이터 멀티모달 자기 개선으로 학습 과제를 적응적으로 갱신

A-RSI는 학습 신호가 약해진 시점에 학습 과제 풀을 갱신하는 재귀적 자기 개선 기법이다. 학습 로그의 보상 변동과 정답률을 모니터링하며, 검증이나 테스트 점수는 참조하지 않는다. 모델이 작성한 프로그램으로 문제와 정답을 생성하여, 외부 학습 데이터나 사람이 붙인 정답 라벨 없이 주요 11개 벤치마크의 평균 점수를 57.77에서 61.05로 끌어올렸다(신규 과제 800건).

Soft-MTP, 다중 토큰 예측의 그래디언트 노이즈를 제거해 언어 모델 성능 향상

Soft-MTP는 표준 Multi-Token Prediction(MTP) 학습에서 그래디언트에 섞이는 노이즈 성분을 KL 자기 증류(self-distillation)의 그래디언트만 남겨 제거하는 기법이다. 코드 한 줄 변경으로 도입할 수 있고, 파라미터 수는 늘지 않으며 측정 가능한 오버헤드도 없다고 한다. 167M에서 1.2B 파라미터 범위에서 표준 MTP보다 낮은 NTP 퍼플렉서티, 빠른 추측적 디코딩, 높은 제로샷 정확도를 보였다고 밝혔다.