AI 에이전트가 평가 벤치마크를 자율적으로 설계할 수 있는지 측정하는 'EvalResearchBench(ERB)'가 제안되었다. 최고의 평가기는 후보 모델 쌍 가운데 약 75%의 순위를 목표 벤치마크와 일치시켰지만, 목표 벤치마크끼리의 불일치로 정해진 상한인 91%에는 도달하지 못했다. 9개의 researcher, 13개의 후보 모델, 14개의 목표 벤치마크로 비교한 결과, 사람이 설계한 공개 태스크 샘플이 여전히 강력한 베이스라인이었으며, 모든 지표에서 1위를 차지한 researcher는 없었다.
OR-License는 LLM 에이전트가 고객의 원자료로부터 실무 수준의 운영 연구(OR) 과제를 풀 수 있는지를 평가하는 벤치마크다. 11개의 최첨단 LLM을 비교한 결과, 일부는 조건부 목적 품질에서 전문가 해법을 넘어섰으나, 실행 가능성을 고려한 품질(DAQ)에서는 어느 모델도 전문가 수준에 도달하지 못했다. 최고 성능을 보인 Claude Code 구성은 엄밀한 실행 가능성 88.39%, DAQ 0.87(전문가 기준 1)을 기록했다.
Self-HPO는 코딩 에이전트의 하네스(harness)와 정책을 번갈아 최적화하는 재귀적 프레임워크다. Qwen3.5-35B-A3B의 3개 코딩 벤치마크 평균 resolve rate는 57.8%에서 64.8%로 향상되어, 하네스만 또는 정책만 최적화한 베이스라인을 넘어섰다. 분포 외 설정에서도 효과가 일반화되며, Pass@1과 Pass@k 모두에서 베이스 에이전트를 개선한다.
HexaShell은 시각 정보와 자체 제작 도구로 양팔 로봇을 제어하는 코딩 에이전트로, RoboDojo의 전체 42개 과제에서 성공률 39.7%, 진행 점수 48.0을 기록해 해당 벤치마크의 새로운 SOTA를 달성했다고 밝혔다. 성능의 한계는 추론이 아니라 접촉에 있었다. 미는 동작은 92.5%, 메모리 계열 과제는 65.0%였지만, 좁은 틈에 끼우는 작업은 8.3%에 그쳤다. 사용 모델은 Codex와 GPT-6-Astra(medium reasoning effort)이며, 제작한 도구는 오픈소스로 공개된다.
Bluesky의 AI 도구 「Attie」에서 프롬프트를 입력해 게임, 설문조사, 대시보드 등 「작은」 소셜 앱을 만들고, 자신만의 웹사이트로 다른 사용자와 공유할 수 있게 되었다. 공식 사이트에는 Flappy Butterfly(Flappy Bird와 유사한 게임), 드럼 머신, 퀴즈, 방치형 클리커 등의 예시가 소개되어 있다.
아마존 디바이스 부문 책임자 Panos Panay는 개인용 AI의 미래는 앱이 아니라, 센서와 AI로 배경에서 작동하는 '앰비언트 디바이스'에 있다고 말했다. 회사는 Bee의 새로운 AI 웨어러블을 발표했으며, 손목밴드나 펜던트로 쓸 수 있는 밴드형 기기와 스마트폰 뒷면에 자석으로 붙는 명함 크기의 기기를 선보였다. Bee의 기기는 음성을 실시간으로 처리해 원본 음성은 저장하지 않으며, 텍스트 변환 결과는 기기가 생성한 키로 암호화된다.
Bluesky는 AI 기반 앱 Attie의 새 기능으로, 크리에이터가 웹사이트, 퀴즈, 게임, 투표 등 인터랙티브한 경험을 만들 수 있는 도구를 발표했다. 만들어진 경험은 Bluesky 등을 뒷받침하는 AT Protocol(ATProto) 위에서 작동한다. Attie에서는 사용자가 자체 AI 모델을 가져오거나 오픈 웨이트 모델을 사용할 수 있다.
Meta의 코딩 특화 오픈 웨이트 모델 「Muse Spark Open」이 Amazon SageMaker JumpStart에서 이용 가능해졌다. MoE 아키텍처로 총 파라미터 816B, 활성 파라미터 42B, 컨텍스트 윈도우는 1M 토큰이다. BF16 버전은 ml.p6-b300.48xlarge, NVFP4 양자화 버전은 ml.p5e.48xlarge에서 동작하며, SageMaker Studio 또는 SageMaker Python SDK를 통해 자신의 AWS 계정 엔드포인트에 배포할 수 있다.
AI at Meta@AIatMetaAI 점수5959
NVIDIA는 크리에이터, 게이머, AI 에이전트를 위한 Windows PC 「NVIDIA RTX Spark」를 출시하고, 10월 16일(금)에 샌프란시스코, 베를린, 타이베이, 베이징, 이스탄불, 서울에서 출시 기념 이벤트를 연다. 행사장에서는 데모를 체험할 수 있으며, 사전 등록 필요 여부는 행사장마다 다르다. #ShareYourSpark 게시물 참여자 중에서 Jensen Huang의 사인이 담긴 ASUS ProArt P14 RTX Spark 탑재 노트북을 받을 수 있는 캠페인도 진행 중이다.
FTC가 Anthropic과 OpenAI에 AI 모델 사고로 인한 소비자 피해와 관련해 민사조사요구서(CID)를 보냈다고 Axios가 관계자의 말을 인용해 보도했다. 요구서에는 50페이지가 넘는 질문이 담겼으며, 사고 관련 문서, 사내 보안 대책, 소비자를 오인하게 할 수 있는 마케팅 자료 등을 요구하고 있다.
Bar-Ilan University(BIU)는 2월 학습 플랫폼 Moodle에서 강의 자료를 검색하고 요약하는 AI 에이전트를 시범 도입했다. Microsoft Copilot Studio로 구축되었으며, 71개 과목, 약 2,400명의 학생이 대상이 되었다. 히브리어, 아랍어, 영어를 지원하며, 2026/27학년도 1학기에는 100개 과목으로 확대될 예정이다.
NVIDIA@nvidiaAI 점수6262Meet NVIDIA Nemotron 3.5 Super VL Our new open model combines reasoning and tool use with text, image, document, and video understanding for long-running AI agents. 120B total parameters with 12B active 🧵
AWS는 AI 에이전트에 자율성을 부여하면서도 통제를 유지하기 위한 다층적 사고방식인 'Trust in Depth'를 제시했다. Scope, Know, Bound, Observe라는 네 가지 질문으로 수명 주기 전체에 걸쳐 신뢰를 검증할 수 있도록 한다. 엄격하게 기술할 수 있는 규칙에는 자동 추론(automated reasoning)으로 증명을 제공하고, 모호한 판단은 사람에게 맡긴다.
Rivian의 RJ Scaringe CEO는 앞으로 Rivian 차량이 Anthropic 등 외부 기업이 만든 AI 에이전트를 구동할 수 있도록 할 생각이라고 TechCrunch Disrupt에서 밝혔다. 도입 시기는 공개되지 않았다. 현재 어시스턴트는 질문의 복잡도에 따라 엣지의 로컬 모델과 클라우드를 나눠 사용하고 있으며, 브레이크나 조향 등 차량 제어는 에이전트에 맡기지 않는다고 한다.
NVIDIA는 120B 파라미터의 오픈 모델 Nemotron 3.5 Super VL과 엣지용 Nemotron 3.5 Bolt 74B-A9B 24GB, Bolt E4B 4GB를 발표했다. Super VL과 Bolt 74B-A9B는 현재 제공 중이며, Bolt E4B는 Oct. 23에 제공될 예정이다. NVIDIA는 Super VL이 같은 급의 차점 모델보다 최대 5배의 처리량을 보였다고 밝혔으며, 가중치와 데이터셋도 공개했다.
선정 이유: 서버용과 엣지용 3개 모델을 메모리 용량 및 배포 대상과 함께 정리하고 있어, 자사 환경에 맞는 규모를 비교해 고르기 쉽다.
NVIDIA가 GeForce NOW에서 NVIDIA DLSS 4.5 제어 기능을 제공하기 시작했다. DLSS Super Resolution, Dynamic Multi Frame Generation, Ray Reconstruction 설정을 선택할 수 있으며, GeForce RTX 5080 탑재 클라우드 환경의 Ultimate 회원은 Dynamic Multi Frame Generation을 최대 4X까지 사용할 수 있다. 설정은 GeForce NOW 앱의 settings에서 하며, Windows, macOS, Chrome OS, Steam OS에서 이용할 수 있다.
Kimi.ai@Kimi_MoonshotAI 점수2525
Modal은 연간 환산 매출(ARR)이 10억 달러를 넘었다고 밝혔다. Accel이 주도한 시리즈 D에서 7억 5천만 달러를 조달했으며, 기업가치는 157억 5천만 달러다. 사용량은 전년 대비 15배 이상 늘었다. 같은 호에서는 Gemini 4 Argon의 확대와 평가, 각사의 신규 모델, 추론 인프라 벤치마크도 다뤘다.
NVIDIA@nvidiaAI 점수2222
북유럽에서는 NVIDIA의 인프라와 Nemotron 오픈 모델을 중심으로 AI의 실용화가 진행되고 있다. 스웨덴에서는 Ericsson, AstraZeneca, Saab 등으로 구성된 컨소시엄이 DGX GB300 시스템 16랙과 1,152개의 GPU를 갖춘 공유 슈퍼컴퓨터 Sferical One을 출범시켰다. AI 클라우드 용량은 2027년 말까지 지역 전체에서 1기가와트에 이를 것으로 예상된다.
SSR은 멀티모달 검색 에이전트의 추론을 사전에 정의된 재사용 가능한 후보 중에서 선택하는 방식으로 바꿔, 턴당 추론 지연 시간을 90% 이상 줄인다고 밝혔다. 질문별 전체 추론 지연 시간은 28~54% 감소했으며, 2B와 4B 모델로 진행한 7개 멀티모달 검색 벤치마크에서 같은 규모의 주요 검색 에이전트에 필적하는 평균 성공률을 보였다. 강화학습과 지도 파인튜닝 모두에서 과제 성능을 떨어뜨리지 않으면서 효율을 높였다.
Meta가 오픈 웨이트 모델 「Muse Spark Open」을 공개했다. 총 파라미터는 약 816B이며, 토큰당 활성 파라미터는 약 42B인 MoE 구조다. 텍스트, 이미지, 음성, 동영상을 입력으로 받을 수 있고, 컨텍스트 윈도우는 최대 1M 토큰이다. Hugging Face 블로그에서는 transformers, llama.cpp, SGLang, vLLM, MLX에서의 실행 방법과 TRL을 활용한 파인튜닝, 데모를 소개하고 있다.
선정 이유: 총 파라미터 약 816B, 활성 파라미터 약 42B라는 구성과 각 추론 환경에서의 실행 방법 및 필요한 메모리 용량이 정리되어 있어, 도입 규모를 가늠하는 데 참고가 된다.
도구 사용형 LLM 에이전트에서 LLM이 먼저 계획을 세우는 Plan-then-Retrieve(PtR) 방식은, 여러 도구가 필요한 질의에서는 Retrieve-then-Plan(RtP) 방식을 웃돌았고, 단일 도구 질의에서는 뒤처지는 것으로 나타났다. ToolBench(46,984개 API 엔드포인트)에서의 평가에서도 이 경향은 검색 건수 k=1~20과 1,000~47,000개 규모의 레지스트리 전반에서 일관되게 나타났다. PtR은 추론 비용이 약 2배 들기 때문에, RtP의 상위 1건 검색 점수를 활용해 질의 복잡도에 따라 방식을 바꾸는 적응형 라우팅이 실용적인 방향으로 제시되었다.
Anthropic가 Code Review를 리서치 프리뷰에서 정식 제공(GA)으로 전환하고 Claude Team 및 Enterprise 조직에서 사용할 수 있게 했다. 대부분의 리뷰 소요 시간은 프리뷰 당시 약 20분에서 6~10분으로 약 3배 빨라졌다. 대상 Enterprise 조직은 2027년 1월 15일까지 10,000달러 이상의 Code Review 크레딧을 신청할 수 있다.
팀네이버의 연구 논문 24편이 자연어처리 분야 최정상 학회 EMNLP 2026에 채택됐다. 학회는 10월 24일부터 29일까지 헝가리 부다페스트에서 열리며, 팀네이버는 이 자리에서 주요 논문을 발표할 예정이다. 채택 논문에는 한국어 추론 데이터 합성, 장시간 영상 구간 탐색 벤치마크, LLM 추론 과정 해석 연구 등이 포함됐다.
AI at Meta@AIatMetaAI 점수4141
AI Engineer New York에서 OpenAI와 Anthropic은 금융 분야 에이전트에서 자율성과 안전성을 함께 확보하는 방안을 제시했다. 두 회사가 강조한 것은 제한의 수보다 통제와 인간의 판단을 어디에 둘지가 안전한 자율성을 좌우한다는 점이다. 헤지펀드 Two Sigma는 자동 모드 분류기로 정형적인 판단을 처리하고, 중요한 요청만 사람에게 넘기는 구조를 도입했다고 설명했다.
Latent Space가 Leash Bio의 Ian Quigley와 나눈 팟캐스트 에피소드를 공개했다. DNA 인코디드 라이브러리(DEL)에서 재현성 높은 데이터를 얻는 방법, Kaggle 대회, 모델 Hermes 등을 다룬다. 녹음 이후 만들어진 에이전트용 과학적 추론 환경 Minos의 프리프린트, 블로그, 오픈 데이터셋도 같은 날 공개됐다.
VLA-Δ는 현재와 미래 관측 사이의 물리적 상태 전이를 명시적인 학습 목표로 삼아 로봇 제어를 개선하는 범용 프레임워크다. LIBERO와 RoboTwin 벤치마크에서 최첨단 기법에 필적하는 성능을 보였으며, 실기 실험에서는 π0.5를 웃돌았다. 추론 시에는 현재 관측으로부터 행동을 직접 생성하며, 추가적인 추론 비용은 발생하지 않는다고 한다.
Alibaba 팀은 범용 컴퓨터 조작 에이전트(GCUA)의 풀스택을 공개하는 프로젝트 OpenGCUA의 첫 릴리스를 발표했다. OSWorld-v2에서는 GPT-6 Astra, Claude Opus 5, Gemini 3.8 Flash를 포함한 8개 모델이 평균 +19.6포인트 향상되었고, 단계 수는 53% 줄었다고 밝혔다. 기술 보고서, 평가 궤적, macOS용 harness, Cross-Device SDK, 온라인 인터랙티브 랩도 포함된다.
MLExpert는 계층적 에이전트형 SFT와 Windowed Interaction RL(WIRL)을 결합한 사후 학습으로, 장기간에 걸친 머신러닝 엔지니어링(MLE) 최적화를 자율적으로 수행하도록 훈련된 35B Mixture-of-Experts 에이전트 모델이다.
GPT-6-Astra는 12개 벤치마크에서 in-context learning(ICL)을 활용해 높은 성능을 보였으나, 실기 배포에서는 데모 수집 비용, 실행 시간, 실용적인 체화 지능 측면의 과제가 남아 있다는 보고서다. 고수준 추론을 담당하는 'System 2'로 GPT-6-Astra를, 저수준 제어를 담당하는 'System 1'로 π0.5를 결합한 클로즈드 루프 구성은 비용은 높지만 효과적인 것으로 평가된다. 보고서는 체화 능력의 임계값은 대체로 넘어섰으나, 실용적인 체화 지능의 임계값에는 아직 도달하지 못했다고 결론지었다.
ACT3D는 단일 1인칭 시점 이미지에서 3D 환경을 능동적으로 탐색하도록 강화학습으로 훈련된 시각언어모델(VLM)이다. 6개 3D 벤치마크의 평균 정확도 53.2%를 달성해 기반 모델인 Qwen을 22.0%p 웃돌았고, 독점 모델인 Gemini 3.6 Flash도 넘어섰다. 기존 오픈소스 3D 기법보다 입력 프레임을 50~70% 적게 쓰면서도 더 높은 성능을 보였다. 학습 데이터에 없던 도메인에서도 지도학습으로 초기화한 모델보다 평균 5.9%p 개선됐다. 기반 모델 대비 개선 폭은 초기 시점만으로 답할 수 있는 질문에서는 0.6%였지만, 넓은 범위의 탐색이 필요한 질문에서는 16.3%로 커졌다.
AI 에이전트는 물리 연구에서 국소적인 과학적 성과를 내지만 연구 과제를 완전히 해결하는 단계에는 이르지 못한다는 점을 전문가가 검증한 50개 과제 벤치마크 「PhysClosureBench」가 보여줬다고 밝혔다. 평균 Atomic Score가 가장 높았던 Claude-Opus-5는 6.29/10을 기록했으나, RC4에 도달한 시행은 전체의 32.7%에 그쳤다. Atomic Score가 8/10 이상인 시행에서도 36.2%는 RC4에 도달하지 못해, 국소적 성과와 연구 완결 사이에 지속적인 격차가 있음이 드러났다.
Data World는 명시적 메커니즘으로부터 환경·태스크·채점 기준을 합성하는 멀티 에이전트 엔진이며, 이를 이용해 Qwen3.6-35B-A3B로부터 DataWorld-35B-A3B를 궤적 증류 없이 RL-zero 학습으로 만들었다.
FDE-Gym은 요구사항이 모호하고 제시되지 않은 제약을 찾아내야 하는 고객사 도입 과제에서 AI 에이전트를 평가하는 벤치마크다. 18개 업종, 20개 고객 시나리오에서 수집한 95건의 엔드투엔드 과제를 담고 있으며, 7개 회사의 13가지 구성을 평가했다. 그 결과 가장 좋은 구성에서도 평균 점수는 0.56에 그쳤고, 95건 중 14건만 해결(점수 0.8 이상이면서 사고 없음)했다. 제시되지 않은 제약의 발견이 주된 병목으로 나타났으며, 필요한 정보를 모두 얻은 23건에서도 0.8 이상에 도달한 것은 10건뿐이었다.
SpecAgent는 소형 Weak 모델이 행동 궤적을 초안으로 작성하면, 대형 Strong 모델이 한 번의 prefill 패스로 해당 구간을 검토해 Strong 모델의 디코딩 대부분을 prefill로 대체하는 도구 사용 에이전트용 기법이다.
Mosaic는 여러 세션에 걸치는 에이전트형 강화학습 기법으로, BrowseComp에서 컨텍스트 압축과 하위 에이전트 분기 두 측면 모두에서 브로드캐스트 베이스라인을 넘어섰다. ReAct 스타일 에이전트 루프에서 Qwen3.5-4B를 사용했으며, REDSearcher의 심층 검색 과제 1,000건으로 학습했다. 평균 세션 수도 적다.
OpenAI@OpenAIAI 점수5252