AWS Machine Learning Blog는 프로덕션 AI 에이전트를 위한 컨텍스트 엔지니어링 4계층을 오픈소스 멀티 에이전트 데이터 분석 솔루션 'Deep Insight'의 구현 코드와 함께 해설했다(Part 2). 단일 쓰기·실행 도구로 스크립트가 컨텍스트에 추가하는 토큰을 약 95% 줄였고, 스킬을 필요할 때만 읽어 들이도록 하여 시스템 프롬프트를 약 97% 축소했다. Deep Insight는 Strands Agents SDK와 Amazon Bedrock AgentCore 위에 구축되어 있다.
Amazon Quick에서 Amazon S3에 있는 문서(비정형 데이터)를 지식 베이스로 삼고, 강화(enrich)된 데이터셋(정형 데이터)과 함께 하나의 Space에 모아 단일 AI 에이전트가 두 데이터를 가로질러 질문에 답할 수 있도록 하는 구성을 해설한다. 구성은 데이터 계층, 워크스페이스 계층(Space), 에이전트 계층의 3계층으로 이루어진다. Enterprise 구독 등 사전 요건도 함께 제시된다.
A-RSI는 학습 신호가 약해진 시점에 학습 과제 풀을 갱신하는 재귀적 자기 개선 기법이다. 학습 로그의 보상 변동과 정답률을 모니터링하며, 검증이나 테스트 점수는 참조하지 않는다. 모델이 작성한 프로그램으로 문제와 정답을 생성하여, 외부 학습 데이터나 사람이 붙인 정답 라벨 없이 주요 11개 벤치마크의 평균 점수를 57.77에서 61.05로 끌어올렸다(신규 과제 800건).
AWS CDK(Python)로 Managed Amazon Bedrock Knowledge Base 위에 에이전트형 검색을 구축하는 방법을 해설한다. 에이전트는 두 개의 Knowledge Base를 용도에 따라 구분해 사용하며, AgentCore Gateway를 거쳐 검색하고 출처를 포함한 답변을 반환하는 구성이다. 명령어 한 번으로 배포할 수 있으며, CloudWatch 대시보드 2종(7개 계층의 텔레메트리)과 온디맨드·연속 방식의 평가 2종도 같은 배포에 포함된다.
Multiscale Policy Optimization(MPO)은 장기 과제를 수행하는 LLM 에이전트의 학습에서 크레딧 할당과 정책 업데이트를 턴 단위로 맞추는 기법이다. MPO는 Multiscale Advantage Estimation(MAE)과 턴 수준 중요도 샘플링을 결합해 구성된다. 검색, 도구 사용, 자동화 과제에서 4B 및 30B-A3B 모델로 진행한 실험에서는 강력한 RL 베이스라인 대비 일관된 성능 향상을 보였다.
자율적으로 사후 학습을 수행하는 프런티어 모델 10종을 비교한 결과, GPT-6 Astra가 학습한 최고 모델은 12개 역량 벤치마크에서 베이스에서 Instruct로 가는 차이의 중앙값 76%를 메웠다. 2단계에서는 10개 모델 중 8개 모델에서 문체를 조정한 인간 선호도 평가가 향상된 반면, 벤치마크 개선은 소폭에 그쳤고 선호도와의 뚜렷한 연관성도 확인되지 않았다. 일부 에이전트는 답변을 길게 만들었고, 한 모델은 StrongREJECT에서 유해한 요구에 대한 순응도가 높아졌다.
IskayPet는 Amazon Bedrock Managed Knowledge Bases를 활용해 사내 문서를 검색하는 어시스턴트를 구축했으며, 이를 통해 4개 언어·3개국 직원의 질문에 답할 수 있게 했다. RAG 기반의 운영은 필요하지 않다. 기존 SharePoint 문서는 이전하지 않고 그대로 수집하며, 하이브리드 검색과 재랭킹으로 검색한다. 문서별 접근 권한도 검색 시점에 적용된다.
RAG의 개별 기술 효과는 조합하면 반드시 재현되지는 않는다는 것이 450개 구성에 대한 검증으로 나타났다. 검색 기술 3종은 단독으로는 합계 +47%의 개선이 예측됐으나, 병용 시 개선은 +17%에 그쳤다. 검색 품질과 응답의 충실성에서는 구성 요소의 효과가 달라, 한쪽의 최적화가 다른 쪽을 해칠 수도 있다. 코퍼스가 커지면 최적의 조합도 달라진다고 한다. 평가에는 오픈소스 프레임워크 LASAGNA가 사용됐다.
TTR-Compressor는 기존의 풀링(pooling)이나 프로젝션 기반 압축을 대체할 수 있는, 우수하고 완전히 실용적인 기법으로 제안되었다. 효율적인 LLM의 블록 단위 희소 어텐션(sparse attention)을 위한 압축기로서, 그리고 MLLM의 VL 프로젝터(merger)로서 강력한 실험적 개선을 보여준다. 동영상·음성의 시간 방향 압축, 처음부터 학습하는 효율적인 ViT, 깊이 방향 압축 등으로의 응용도 향후 탐색 과제로 제시되었다.
추론이 실행될 때마다 남는 백엔드 데이터의 스토리지 비용은 간과되기 쉽다. WD의 내부 측정에 따르면, 8초짜리 720p 동영상(3.97MB)을 생성했을 때 백엔드에 500MB 이상의 데이터가 남았으며, 이는 출력물의 130배에 달했다. McKinsey는 추론 수요가 2030년까지 연평균 35% 증가해 학습 수요의 22%를 웃돌 것으로 예측했다.
생 대화 기록에 대해 밀집 검색과 재랭킹을 수행하는 단순한 RAG 베이스라인 「Raw-RAG」가 LoCoMo, LongMemEval, MEME, MemoryAgentBench 평가에서 비교 대상 메모리 시스템 7개의 벤치마크·모델 설정 중 6개에서 1위를 차지했다. 가장 강한 에이전트형 메모리와 비교하면 0.13~5.53포인트 앞섰으며, 필요한 증거를 빠짐없이 포착하기 쉬운 점이 활용률이 낮은 단점을 보완하는 것으로 알려졌다. 변환된 메모리 전체에 접근하더라도 원본 증거와의 정확도 차이가 남아 있어, 논문은 원시 정보를 보존하는 것이 중요하다고 보여준다.
SpecMRL은 학습된 스펙트럼 기저로 특징 공간을 재편성하여 압축된 임베딩의 품질을 높이는 기법이다. MTEB 실험에서는 평가한 모든 축소 차원에서 표준 MRL(Matryoshka Representation Learning)을 능가했으며, 압축률이 높을수록 그 차이가 커졌다. 임베딩 차원이 절반이어도 전체 차원의 MRL을 능가하는 결과를 보였다.
RoAR-VAE는 손상시킨 잠재 표현으로부터 의미 정보와 이미지 정보를 강건하게 예측하도록 함으로써, 비주얼 토크나이저의 재구성 정확도와 확산 모델에서의 학습 용이성을 동시에 확보하고자 하는 기법이다. 동일한 학습 예산 하에서 생성 벤치마크의 평균 성능은 가장 강력한 베이스라인 토크나이저를 2.19포인트 웃돌았다. 작은 글자의 재구성 정확도는 FLUX.1-VAE에 비해 16.93퍼센트포인트 높다.
Google은 Gemma 4를 기반으로 한 Apache 2.0 라이선스 오픈 모델 EmbeddingGemma 2를 공개했다. 텍스트, 코드, 이미지, 동영상, 오디오를 768차원 공통 벡터 공간으로 변환하며, 270M부터 740M 파라미터까지 필요한 인코더만 불러올 수 있다. MTEB (Code)에서는 EmbeddingGemma 1보다 14% 높은 점수를 기록했다.
선정 이유: 모듈식 인코더와 차원 축소 선택 방법이 수치와 함께 정리되어 있어, 자체 검색 기반의 구성을 검토할 때 비교 자료로 활용할 수 있다.
TreeOPSD는 Critic을 사용하지 않고 트리 구조를 고려한 사후 자기 증류(post-hoc self-distillation)를 통해, 장기 대화 과제에서 언어 모델 에이전트의 강화학습을 가능하게 하는 기법이다. 각 대화 턴을 트리의 노드로 취급하고, 종료 보상을 거슬러 올라가 턴 단위 크레딧을 추정한 뒤, 고정된 행동 정책에 대한 우도비로 정해지는 유계(bounded) 교사 분포로 변환한다. Qwen3-30B-A3B-Thinking-2507에서 Deep Research 설정 기준, GRPO 대비 평균 정확도가 4.97포인트 향상되었다.
Bar-Ilan University(BIU)는 2월 학습 플랫폼 Moodle에서 강의 자료를 검색하고 요약하는 AI 에이전트를 시범 도입했다. Microsoft Copilot Studio로 구축되었으며, 71개 과목, 약 2,400명의 학생이 대상이 되었다. 히브리어, 아랍어, 영어를 지원하며, 2026/27학년도 1학기에는 100개 과목으로 확대될 예정이다.
MRTPO는 다중 보상 강화학습에서 각 보상의 advantage를 해당 검증기가 확인하는 토큰에만 할당하는 기법이다. 보상마다 정책이 자신의 응답을 검증기 정보가 있는 경우와 없는 경우로 다시 생성하고, 다음 토큰 분포의 Jensen-Shannon 거리로 각 토큰의 관련도를 측정한다. 보조 모델이나 토큰 단위 주석은 필요하지 않으며, text-to-SQL, 복수 제약 지시 따르기, 도구 호출에서 기존 기법보다 빠르게 수렴하고 높은 성능을 보였다.
도구 사용형 LLM 에이전트에서 LLM이 먼저 계획을 세우는 Plan-then-Retrieve(PtR) 방식은, 여러 도구가 필요한 질의에서는 Retrieve-then-Plan(RtP) 방식을 웃돌았고, 단일 도구 질의에서는 뒤처지는 것으로 나타났다. ToolBench(46,984개 API 엔드포인트)에서의 평가에서도 이 경향은 검색 건수 k=1~20과 1,000~47,000개 규모의 레지스트리 전반에서 일관되게 나타났다. PtR은 추론 비용이 약 2배 들기 때문에, RtP의 상위 1건 검색 점수를 활용해 질의 복잡도에 따라 방식을 바꾸는 적응형 라우팅이 실용적인 방향으로 제시되었다.
Amazon Bedrock AgentCore와 Strands Agents를 활용해 양식 문서의 분류, 추출, 검증, 학습을 최소한의 사람 개입으로 수행하는 에이전트형 IDP 시스템 구축 방법을 설명합니다. 8개의 전문 에이전트가 식별, 학습, 자동화라는 두 개의 그래프 기반 워크플로에서 협업하며, 새로운 문서 형식에 대해서는 추출 지침을 생성해 이후 재사용합니다. 대부분의 경우 20분 미만으로 배포할 수 있으며, 수동 템플릿 설정은 필요하지 않습니다.
Amazon Bedrock AgentCore의 runtime 위에 Strands Agents 프레임워크로 슈퍼바이저 에이전트를 구축해, 사내 문서로부터 PowerPoint 자료를 생성하는 구조를 설명한다. 사내 테스트에서는 90초 미만에 완료되었다고 한다. 콘텐츠 생성에는 Claude Sonnet 4.6, 벡터 검색에는 Amazon Titan Text Embeddings v2, 슬라이드 이미지에는 Stability AI Stable Image Inpaint를 사용하며, 코드는 공개 리포지토리에서 제공된다.
Orca Security는 Amazon Bedrock에서 자연어 질문을 Sonar 쿼리로 변환하는 「Discovery AI」를 구축했다고 밝혔다. 초기 구성과 비교해 쿼리 비용은 90%, 입력 토큰은 93%, 지연 시간은 75% 줄였다. RAG와 스키마를 고려한 쿼리 구성을 결합한 9단계 파이프라인으로, Amazon Titan Text Embeddings로 유사 사례를 검색하고 Cohere Rerank 3.5로 재순위를 매긴다. 운영 환경에서는 하루 수천 건의 쿼리를 약 15초의 응답 시간으로 처리한다.
OpenAI의 Astra, Sol, Luna 모델이 Amazon Bedrock에서 정식 출시(GA)됐다. OpenAI 기반의 Amazon Bedrock Managed Agents는 퍼블릭 프리뷰로 이용할 수 있게 됐다. Strands Decider 2B는 도구 선택과 라우팅에 쓰이는 오픈소스 2B 파라미터 의사결정 모델이며, 로컬 환경에서의 응답 시간은 약 115ms인 것으로 알려졌다.
Google DeepMind가 텍스트, 이미지, 오디오, 비디오, 코드를 공통 임베딩 공간에 매핑하는 오픈 임베딩 모델 EmbeddingGemma 2를 공개했다. Gemma 4 아키텍처를 기반으로 한 740M 파라미터 모델이며 Apache 2.0 라이선스로 제공된다. MTEB Code 점수는 68.76에서 78.68로 올랐고, 컨텍스트 윈도우는 8K 토큰으로 확대됐다.
경영진 300명을 대상으로 한 조사에 따르면, 에이전트형 AI 프로젝트 가운데 실제 운영 단계까지 가는 비율은 평균 34%에 그쳤으며, 지식과 컨텍스트의 부족이 주요 원인 중 하나로 꼽힌다. 실운영을 먼저 추진하고 있는 선도 조직에서는 파일럿 단계를 넘어 진행되는 프로젝트가 평균 61%였고, 특히 의미 기반(시맨틱) 지식이 강한 것으로 나타났다. 데이터 파편화를 과제로 꼽은 응답은 55%였으며, 투자 우선순위로는 RAG와 지식 그래프 등이 앞섰다.
GitHub Podcast 최신 회에서 AI를 둘러싼 5가지 「핫 테이크」를 검증한다. AI가 생성한 코드는 반드시 읽어야 하고, RAG는 죽지 않았으며, Skills는 MCP를 대체하지 않고 역할이 다르다고 정리한다. 파인튜닝이 필요한 이유는 코드가 나쁘기 때문이라는 주장도 다루며, AI 에이전트, Skills, MCP, RAG는 같은 워크플로에서 함께 사용할 수 있다고 설명한다.
Google Research는 집계·익명화된 이동 데이터를 언어 모델의 장소 표현에 통합하는 「ME-POIs」 프레임워크를 소개했다. 학습 시 보지 못한 장소를 대상으로 한 평가에서 방문 의도 예측은 최대 81.9%의 상대적 향상을, 가격대 분류는 75.1%의 개선을, 혼잡도 추정 정확도는 24.7%의 향상을 보였다. 이동 데이터는 공개 벤치마크 데이터셋에서 가져왔으며, 자기지도 학습을 통해 텍스트 설명과 통합된다.
Mistral은 기존 검색 인덱스 위에서 다단계 검색 루프를 실행하는 「Agentic Search」를 발표했다. FinanceBench에서는 정답률이 26.7%에서 86%로, OfficeQA Pro에서는 6.3%에서 51.9%로 향상되었으며, p90 레이턴시는 최대 39.6%, 토큰 소비는 최대 3분의 1까지 줄어든다. search, open, navigate, read, grep 등 5개의 도구로 동작하며, Mistral Search Toolkit과 Libraries에서 이용할 수 있다.
Sentence Transformers v6.0에 ColBERT 방식의 Late Interaction 검색을 지원하는 새 모델 유형 「MultiVectorEncoder」가 추가됐다. PyLate와 Stanford-NLP의 ColBERT 체크포인트, colpali-engine 모델을 불러올 수 있으며, 토큰마다 벡터를 보관하고 MaxSim으로 점수를 매긴다. 단일 벡터 모델보다 검색 정확도가 높은 대신 인덱스 크기는 커진다.
구글 리서치는 LLM에 추론 트레이스를 생성하게 하면, 추론 없이는 사실상 도달할 수 없는 정답을 끌어낼 수 있다는 것을 보여줬다고 밝혔다. 이는 COLM 2026에서 발표될 논문 「Thinking to Recall」에서 검증된 내용이다.
Mistral AI가 OCR 모델 Mistral OCR 4를 공개했다. 텍스트와 함께 바운딩 박스, 블록 유형 분류, 인라인 신뢰도 점수를 반환하며, 10개 언어 그룹에 걸친 170개 언어를 지원한다. API 요금은 1,000페이지당 $4이며, Batch API에서는 50% 할인된 $2, Document AI는 $5다. 단일 컨테이너로 자체 호스팅도 가능하며, 기업용으로 제공된다.
선정 이유: 바운딩 박스와 신뢰도 점수를 반환하는 구조화된 출력과 벤치마크 자체의 채점상 한계가 함께 적혀 있어, 자사 문서로 검증하는 방식을 파악하기 쉽다.
Google이 Gemini Enterprise Agent Platform용 Agentic RAG 기반 크로스 코퍼스 검색(Cross-Corpus Retrieval)을 제공한다고 발표했다. 여러 에이전트가 계획, 쿼리 재작성, 검색을 나눠 맡고, 정보가 부족하지 않은지 확인하면서 검색을 이어간다. 표준 RAG와 비교해 사실성 데이터셋에서 정확도가 최대 34% 향상된 것으로 알려졌다.
Mistral AI가 AI 애플리케이션용 프로덕션 검색 파이프라인을 구축하는 조합형 프레임워크 「Search Toolkit」을 퍼블릭 프리뷰로 공개했다. 수집, 검색, 평가를 공통 인터페이스로 통합했으며, 오픈소스로 제공되고 클라우드, 온프레미스, 엣지 어디에서든 동작한다. 검색 방식으로 BM25, 임베딩 기반 밀집 벡터 검색, 두 방식을 결합한 하이브리드 구성을 갖추고 있으며, 평가에서는 recall, precision, MRR, NDCG를 측정할 수 있다.
Mistral AI는 코드 전용 첫 임베딩 모델 「Codestral Embed」를 공개했다. 실제 코드 데이터를 사용한 검색 과제에서 Voyage Code 3, Cohere Embed v4.0, OpenAI의 대규모 임베딩 모델을 크게 앞선다고 밝혔다. API에서는 「codestral-embed-2505」라는 이름으로 제공되며, 가격은 100만 토큰당 0.15달러이고, 배치 API에서는 50% 할인된다.
Mistral이 새로운 Agents API를 발표했다. 코드 실행, 웹 검색, 이미지 생성, MCP 도구를 위한 내장 커넥터와 대화를 넘나드는 영구 메모리, 에이전트 오케스트레이션 기능을 갖췄으며, Chat Completion API를 보완하는 프레임워크로 제공된다. SimpleQA에서 웹 검색을 병용했을 때 Mistral Large는 75%, Mistral Medium은 82.32%를 기록했다.
선정 이유: 내장 커넥터, 영구적인 대화, 다중 에이전트 핸드오프가 API 단위로 정리되어 있어 에이전트 구현의 설계 요소를 파악하기 쉽다.
Mistral AI는 Mistral Medium 3를 탑재한 기업용 AI 어시스턴트 「Le Chat Enterprise」를 발표했다. 엔터프라이즈 검색, 에이전트 구축, 맞춤형 데이터·도구 커넥터, 하이브리드 배포 등을 갖췄으며, 기능은 향후 2주에 걸쳐 순차적으로 공개된다. Google Drive, SharePoint, Gmail 등에 연결할 수 있으며, Google Cloud Marketplace에서 이용 가능하다.
Mistral AI는 LLM as a Judge 방식으로 RAG 시스템을 평가하는 방법을 해설하고, 평가 프레임워크로 RAG Triad(Context Relevance, Groundedness, Answer Relevance)를 제시했다고 밝혔다. RAG Triad는 검색된 문서와 답변을 모두 평가할 수 있어, 검색과 생성을 종단간(end-to-end)으로 평가하는 데 도움이 된다고 설명된다. 같은 회사 API의 커스텀 structured outputs를 사용하면 평가 기준과 스키마를 정의해 기계가 읽을 수 있는 형식으로 점수를 출력할 수 있다.