A-RSI는 학습 신호가 약해진 시점에 학습 과제 풀을 갱신하는 재귀적 자기 개선 기법이다. 학습 로그의 보상 변동과 정답률을 모니터링하며, 검증이나 테스트 점수는 참조하지 않는다. 모델이 작성한 프로그램으로 문제와 정답을 생성하여, 외부 학습 데이터나 사람이 붙인 정답 라벨 없이 주요 11개 벤치마크의 평균 점수를 57.77에서 61.05로 끌어올렸다(신규 과제 800건).
Multiscale Policy Optimization(MPO)은 장기 과제를 수행하는 LLM 에이전트의 학습에서 크레딧 할당과 정책 업데이트를 턴 단위로 맞추는 기법이다. MPO는 Multiscale Advantage Estimation(MAE)과 턴 수준 중요도 샘플링을 결합해 구성된다. 검색, 도구 사용, 자동화 과제에서 4B 및 30B-A3B 모델로 진행한 실험에서는 강력한 RL 베이스라인 대비 일관된 성능 향상을 보였다.
자율적으로 사후 학습을 수행하는 프런티어 모델 10종을 비교한 결과, GPT-6 Astra가 학습한 최고 모델은 12개 역량 벤치마크에서 베이스에서 Instruct로 가는 차이의 중앙값 76%를 메웠다. 2단계에서는 10개 모델 중 8개 모델에서 문체를 조정한 인간 선호도 평가가 향상된 반면, 벤치마크 개선은 소폭에 그쳤고 선호도와의 뚜렷한 연관성도 확인되지 않았다. 일부 에이전트는 답변을 길게 만들었고, 한 모델은 StrongREJECT에서 유해한 요구에 대한 순응도가 높아졌다.
RAG의 개별 기술 효과는 조합하면 반드시 재현되지는 않는다는 것이 450개 구성에 대한 검증으로 나타났다. 검색 기술 3종은 단독으로는 합계 +47%의 개선이 예측됐으나, 병용 시 개선은 +17%에 그쳤다. 검색 품질과 응답의 충실성에서는 구성 요소의 효과가 달라, 한쪽의 최적화가 다른 쪽을 해칠 수도 있다. 코퍼스가 커지면 최적의 조합도 달라진다고 한다. 평가에는 오픈소스 프레임워크 LASAGNA가 사용됐다.
TTR-Compressor는 기존의 풀링(pooling)이나 프로젝션 기반 압축을 대체할 수 있는, 우수하고 완전히 실용적인 기법으로 제안되었다. 효율적인 LLM의 블록 단위 희소 어텐션(sparse attention)을 위한 압축기로서, 그리고 MLLM의 VL 프로젝터(merger)로서 강력한 실험적 개선을 보여준다. 동영상·음성의 시간 방향 압축, 처음부터 학습하는 효율적인 ViT, 깊이 방향 압축 등으로의 응용도 향후 탐색 과제로 제시되었다.
생 대화 기록에 대해 밀집 검색과 재랭킹을 수행하는 단순한 RAG 베이스라인 「Raw-RAG」가 LoCoMo, LongMemEval, MEME, MemoryAgentBench 평가에서 비교 대상 메모리 시스템 7개의 벤치마크·모델 설정 중 6개에서 1위를 차지했다. 가장 강한 에이전트형 메모리와 비교하면 0.13~5.53포인트 앞섰으며, 필요한 증거를 빠짐없이 포착하기 쉬운 점이 활용률이 낮은 단점을 보완하는 것으로 알려졌다. 변환된 메모리 전체에 접근하더라도 원본 증거와의 정확도 차이가 남아 있어, 논문은 원시 정보를 보존하는 것이 중요하다고 보여준다.
SpecMRL은 학습된 스펙트럼 기저로 특징 공간을 재편성하여 압축된 임베딩의 품질을 높이는 기법이다. MTEB 실험에서는 평가한 모든 축소 차원에서 표준 MRL(Matryoshka Representation Learning)을 능가했으며, 압축률이 높을수록 그 차이가 커졌다. 임베딩 차원이 절반이어도 전체 차원의 MRL을 능가하는 결과를 보였다.
RoAR-VAE는 손상시킨 잠재 표현으로부터 의미 정보와 이미지 정보를 강건하게 예측하도록 함으로써, 비주얼 토크나이저의 재구성 정확도와 확산 모델에서의 학습 용이성을 동시에 확보하고자 하는 기법이다. 동일한 학습 예산 하에서 생성 벤치마크의 평균 성능은 가장 강력한 베이스라인 토크나이저를 2.19포인트 웃돌았다. 작은 글자의 재구성 정확도는 FLUX.1-VAE에 비해 16.93퍼센트포인트 높다.
TreeOPSD는 Critic을 사용하지 않고 트리 구조를 고려한 사후 자기 증류(post-hoc self-distillation)를 통해, 장기 대화 과제에서 언어 모델 에이전트의 강화학습을 가능하게 하는 기법이다. 각 대화 턴을 트리의 노드로 취급하고, 종료 보상을 거슬러 올라가 턴 단위 크레딧을 추정한 뒤, 고정된 행동 정책에 대한 우도비로 정해지는 유계(bounded) 교사 분포로 변환한다. Qwen3-30B-A3B-Thinking-2507에서 Deep Research 설정 기준, GRPO 대비 평균 정확도가 4.97포인트 향상되었다.
MRTPO는 다중 보상 강화학습에서 각 보상의 advantage를 해당 검증기가 확인하는 토큰에만 할당하는 기법이다. 보상마다 정책이 자신의 응답을 검증기 정보가 있는 경우와 없는 경우로 다시 생성하고, 다음 토큰 분포의 Jensen-Shannon 거리로 각 토큰의 관련도를 측정한다. 보조 모델이나 토큰 단위 주석은 필요하지 않으며, text-to-SQL, 복수 제약 지시 따르기, 도구 호출에서 기존 기법보다 빠르게 수렴하고 높은 성능을 보였다.
도구 사용형 LLM 에이전트에서 LLM이 먼저 계획을 세우는 Plan-then-Retrieve(PtR) 방식은, 여러 도구가 필요한 질의에서는 Retrieve-then-Plan(RtP) 방식을 웃돌았고, 단일 도구 질의에서는 뒤처지는 것으로 나타났다. ToolBench(46,984개 API 엔드포인트)에서의 평가에서도 이 경향은 검색 건수 k=1~20과 1,000~47,000개 규모의 레지스트리 전반에서 일관되게 나타났다. PtR은 추론 비용이 약 2배 들기 때문에, RtP의 상위 1건 검색 점수를 활용해 질의 복잡도에 따라 방식을 바꾸는 적응형 라우팅이 실용적인 방향으로 제시되었다.
경영진 300명을 대상으로 한 조사에 따르면, 에이전트형 AI 프로젝트 가운데 실제 운영 단계까지 가는 비율은 평균 34%에 그쳤으며, 지식과 컨텍스트의 부족이 주요 원인 중 하나로 꼽힌다. 실운영을 먼저 추진하고 있는 선도 조직에서는 파일럿 단계를 넘어 진행되는 프로젝트가 평균 61%였고, 특히 의미 기반(시맨틱) 지식이 강한 것으로 나타났다. 데이터 파편화를 과제로 꼽은 응답은 55%였으며, 투자 우선순위로는 RAG와 지식 그래프 등이 앞섰다.
Google Research는 집계·익명화된 이동 데이터를 언어 모델의 장소 표현에 통합하는 「ME-POIs」 프레임워크를 소개했다. 학습 시 보지 못한 장소를 대상으로 한 평가에서 방문 의도 예측은 최대 81.9%의 상대적 향상을, 가격대 분류는 75.1%의 개선을, 혼잡도 추정 정확도는 24.7%의 향상을 보였다. 이동 데이터는 공개 벤치마크 데이터셋에서 가져왔으며, 자기지도 학습을 통해 텍스트 설명과 통합된다.
구글 리서치는 LLM에 추론 트레이스를 생성하게 하면, 추론 없이는 사실상 도달할 수 없는 정답을 끌어낼 수 있다는 것을 보여줬다고 밝혔다. 이는 COLM 2026에서 발표될 논문 「Thinking to Recall」에서 검증된 내용이다.
Google이 Gemini Enterprise Agent Platform용 Agentic RAG 기반 크로스 코퍼스 검색(Cross-Corpus Retrieval)을 제공한다고 발표했다. 여러 에이전트가 계획, 쿼리 재작성, 검색을 나눠 맡고, 정보가 부족하지 않은지 확인하면서 검색을 이어간다. 표준 RAG와 비교해 사실성 데이터셋에서 정확도가 최대 34% 향상된 것으로 알려졌다.