StreamVibe는 암묵적이고 변화하는 사용자 의도에 능동적으로 응답하기 위해 벤치마크 「StreamVibe-Bench」, 스트리밍형 시각언어모델 「StreamVibe-VL」, 계층형 메모리 「StreamVibe-Harness」를 제안했다. StreamVibe-VL은 범용 동영상 이해 능력을 유지하면서 응답 타이밍과 답변 품질을 다른 베이스라인보다 10.7% 향상시킨다. StreamVibe-Harness는 능동적 상호작용에서 12.3%의 개선을 가져온다.
OpenAI가 GPT-6.1 Terra를 공개하고 API 가격을 GPT-5.6 Terra의 절반으로 낮췄다. 입력은 100만 토큰당 $1, 출력은 $5, 캐시 입력은 $0.05다. Artificial Analysis의 Intelligence Index에서는 48점으로, GPT-5.6 Terra의 42점을 웃돌았으며, 태스크당 비용은 $0.40 대 $1.40으로 비교됐다. ChatGPT Work, Codex, API에서 현재 제공 중이다.
Venus-DefakerOne2는 위조의 형태와 미디어 유형 모두에서 탐지 범위를 넓힌 통합형 위조 대응 기반 모델이다. DeepFake 얼굴(96.7%), AI 생성 이미지(93.3%), 변조 문서(87.6%), 물리적 스푸핑(93.1%), AI 생성 동영상(96.0%) 등의 벤치마크에서 새로운 SOTA를 달성했다. 전작인 DefakerOne을 크게 웃도는 성능이다.
뉴욕대(NYU)와 텍사스대학교 오스틴 캠퍼스 연구팀이 14개 대규모 언어 모델의 출력을 사람이 쓴 글과 비교해, AI 글을 읽기 어렵게 만드는 여섯 가지 언어 패턴을 찾아냈다. 소형 모델은 사람이 쓴 글에 가까웠으며, Claude Opus 5.5는 21개 항목 중 19개에서 전 세대인 Opus 5를 앞섰다. 연구자들은 이 현상의 원인으로 RLHF에서 RLVR로의 전환을 지목하고 있다.
AI 안전성 스타트업 Resolution은 통계적 학습 이론과 관련된 특이점 해소(resolution of singularities) 정리를 AI 에이전트로 자동 형식화했다고 밝혔다. 작업은 약 1주일이 걸렸으며, Lean 코드를 약 60만 줄 생성했고, 토큰 비용은 추정 13만 5000달러였다. 같은 호에서는 ProgramBench에서 Claude Opus 5.5(xhigh)가 18.5%의 해결률을 기록했다는 점도 소개됐다. 공개 당시 모든 모델이 0%였던 벤치마크라는 점에서 발전 속도를 보여주는 사례로 평가된다.
Co-Design Bench는 실제 사용자의 요청에 따라 기존 애플리케이션을 수정하는 코딩 에이전트를 평가하는 벤치마크로, 273개 태스크와 2,331개의 수락 기준을 포함한다. 최상위 모델인 gpt-6-astra는 태스크 평균으로 수락 기준의 69.9%를 충족했지만, 모든 기준을 충족한 태스크는 26.4%에 그쳤다. Qwen3.8-27B는 엄격한 완료율 64.4%를 기록해 전체 4위에 올랐다.
Anthropic 공동창업자 Jack Clark는 AI가 후속 시스템을 스스로 개발하는 재귀적 자기 개선(RSI)이 이르면 2027년에 가능해질 수 있다는 견해를 밝혔다. 기존에는 2028년을 상정하고 있었다. 이러한 전망의 배경에는 P-Zero Research의 벤치마크 'TasteVal'에서 Anthropic의 Opus 5.5가 계산량 승수 2.3을 기록해, 전문가 수준에 절반 미만의 계산량으로 도달한 결과가 있다. 다만 통계적 범위는 1.15~4.37로 넓고, 측정 대상도 과학 연구의 일부에 한정된다.
Δτ-Bench는 도구 생태계의 구조적 변화에 대한 에이전트의 적응력을 평가하는 실행 가능한 벤치마크이다. 검증된 태스크 1,588건으로 평가한 결과, 가장 강력한 모델이나 harness에서도 태스크 성공률은 42.3%에 그쳤다. 제안 기법인 Steward는 도구와 절차적 지식을 단계적으로 유지·관리하면서 동적으로 제공하는 방식으로, 실험에서 유지 비용을 억제하면서도 높은 성공률을 유지했다.
InteractiveWorld는 MLLM이 물리 작업에서 사람을 확실하게 안내할 수 있는지를 평가하는 검증 가능한 시뮬레이션 환경이자 벤치마크다. 벤치마크인 InteractiveBench는 6개 카테고리, 120건의 멀티턴 작업으로 구성되며, 각 지시의 결과는 상태 기반 보상으로 채점된다. 12종의 프런티어 MLLM을 평가한 결과, 가장 성능이 높은 Claude Fable 5.1조차 장기적인 Guidance 및 Planning 작업의 달성률이 각각 최대 20%, 25%에 그쳤다.
Continual Learning Exam(CLE)는 LLM 에이전트의 장기적인 지속 학습과 경험 기반 자기 개선을 평가하는 대규모 벤치마크다. 50명 이상의 도메인 전문가가 구축했으며, 12개 분야 89개 직종에 걸친 120개의 실무 과제, 600단계의 진행 레벨, 약 24K개의 실제 파일, 19개의 상태 유지형 애플리케이션, 16K개 이상의 사람이 작성한 평가 기준을 포함한다. 17개의 프런티어 에이전트 구성을 평가한 결과, 최상위인 Claude Code + Opus 5조차 레벨 완료율은 47.7%, Task Ladder 전체 완료율은 23.3%에 그쳤다.
ChronoReplay는 스트리밍형 시각언어모델(VLM)의 공간 추론 능력을 높이는 학습 프레임워크다. 카테고리형, 거리(메트릭)형, 궤적형 공간 감독 신호를 시간 순서의 에피소드로 정리해, 단일 모델이 상호보완적인 공간 능력을 학습하도록 한다. OVO-S-Bench, OST-Bench, UCS-Bench에서 일관된 향상을 보였으며, OST-Bench에서는 13.41포인트 상승을 기록했다. 여기에 적응형 프레임 선택을 더해 시각 처리 비용을 줄이면서 성능을 한층 끌어올린다.
Moonshot AI가 2026년 10월 23일 공개한 Kimi K3.1 Pro를 공개 자료와 제3자 평가를 토대로 사양, 벤치마크, 가격을 정리한 해설이다. Artificial Analysis의 Intelligence Index는 55점으로, 전세대 Kimi K3의 44점에서 상승했다. 필자는 독자적인 모델 테스트를 하지 않았다고 명시했으며, 가중치 공개는 11월 4일까지 예정되어 있으나 현재는 공개되지 않은 상태다.
AV-FABLE은 장시간 음성·영상 동영상에 포함된 국소적 변조를 평가하기 위한 이중 타임라인 벤치마크로, 이를 기반으로 동결된 특징량에서 변조를 탐지하는 NFSR도 제안되었다. 원본·변조 쌍 16,650개(998시간, 편집 구성 27종)로 실험한 결과, AV-LLM에 제로샷 프롬프트를 사용한 탐지는 거의 무작위 추측 수준에 머물렀다.
Microsoft와 Hugging Face는 ThinkingBox의 데이터베이스 상태 판정을 강화학습 보상으로 쓰는 에이전트 학습 방법 「ThinkingBox-Training」을 GitHub에 공개했다. Qwen3.8-27B를 GRPO로 50스텝 학습한 결과, 507개 과제 벤치마크에서 평균 성공률(pass@1)이 51.70%에서 60.78%로 올랐고, 20회 모두 성공한 과제는 38건에서 107건으로 늘었다.
Sensorimotor Alignment(S²)는 감각 표현과 말단 효과기 궤적의 근방 구조가 얼마나 일치하는지를 재는 지표로, 값이 높을수록 로봇의 과제 성공률도 높아지는 경향이 있다고 밝혔다. 시뮬레이션과 실제 기기의 VLA·WAM에서 같은 경향이 확인됐으며, VLA의 성공률은 언어 특징이 아니라 시각 특징의 S²와 상관관계가 있었다. 클로즈드루프 평가에 앞서 쓸 수 있는 저비용 오프라인 지표로, VLA 미세조정 전 VLM 백본 선정에도 활용할 수 있다고 한다.
RSIHub는 에이전트 진화 기법의 구축, 비교, 확장을 공통 기반 위에서 수행하기 위한 오픈소스 프레임워크다. 재사용 가능한 오퍼레이터와 일관된 평가 체계를 갖춰 실험 기반을 반복해서 다시 구현하는 일을 줄이도록 설계됐다. AHE, Hyperagents, A-Evolve, GEPA를 구현하고 MiniSWE와 Codex에서 Terminal Bench 2 및 τ^3 Banking을 평가한 결과, 전체 pass@1의 최대 개선폭은 13.5포인트였다. 다만 기법의 순위는 설정에 따라 달라졌으며, 최적화로 얻은 개선이 보지 못한 과제에 반드시 이전되는 것은 아니었다.
Principia는 추론 시점에 과학적 원리를 구축하고 반복적으로 개선하여, 분자 및 생물학 과제의 발견을 가속화하는 LLM 기반 프레임워크이다. 분자 최적화, 단백질 엔지니어링, 유전자 섭동, 분자 특성 예측 벤치마크에서 내부 지식, 외부 정보원, 경험 요약에 의존하는 기준 모델들을 능가한 것으로 보고되었다. 생성된 원리는 타당하며 과학 문헌과도 일관된다고 한다.
Falcon은 화자의 입술 영상을 활용해 잡음이나 겹쳐진 음성 속에서 목표 화자의 목소리를 추출하는 인과적(causal) 오디오-비주얼 타깃 화자 추출 모델이다. 인과형 AV-TFGridNet과 비교해 학습 가능한 파라미터는 91.9%, 연산량은 20.2배, GPU 추론 지연 시간은 11.1배 줄였다고 보고되었다. 또한 화자 수, 근거리 및 원거리 간섭, 잔향, 돌발적인 잡음을 포함하는 벤치마크 'RealSSA'도 제안되었으며, 코드와 모델 가중치 등은 프로젝트 페이지에서 공개되었다.
TraceTrial-Bench는 AI 에이전트 하네스의 신뢰성을 컨텍스트, 실행, 거버넌스, 라이프사이클, 관측 가능성, 도구, 검증의 7개 구성 요소에 걸쳐 평가하는 벤치마크다. 95개의 전문가 수준 과제로 4개의 하네스와 9개의 모델을 비교했으며, 3,420회 실행에서 하네스 점수는 59.8%에서 72.0%였다. 하네스 기준을 하나 이상 충족하지 못한 실행 가운데 31.1%는 과제를 성공시켰다.
Microsoft AI가 AI 진단 시스템 MAI-DxO와 순차 진단 벤치마크 SDBench에 관한 논문을 Science에 발표했다. NEJM의 복잡한 증례에서 MAI-DxO의 진단 정확도는 83%로, 외부 자료가 없는 경우 22%, 있는 경우 36%였던 의사들을 웃돌았다. MIMIC-IV-ED의 응급 증례에서는 80% 대 47%였으며, SDBench는 일부 NEJM 증례를 대상으로 오픈소스로 공개된다.
선정 이유: 순차적 진단을 측정하는 SDBench와 여러 가상 의사가 토론하는 MAI-DxO의 설계, 그리고 정확도와 비용 양면의 비교가 제시되어 있어 의료 AI 평가의 사고방식을 파악하기 쉽다.
Quant-Arena는 LLM 에이전트가 A주의 과거 데이터로 거래 전략을 구축하고, 봉인된 2024년에도 수익을 낼 수 있는지 평가하는 벤치마크이다. 9개의 프런티어 모델을 평가한 결과 GPT-6 Astra의 점수가 가장 높았으나, 2024년에 동일 가중 시장 평균을 웃돈 모델은 없었다. 점수는 실현 초과수익을 중심으로 하되 시그널 품질과 특징량의 다양성도 함께 반영된다. 임의의 모델 또는 에이전트 하네스에서 응모를 받고 있다.
RAG의 개별 기술 효과는 조합하면 반드시 재현되지는 않는다는 것이 450개 구성에 대한 검증으로 나타났다. 검색 기술 3종은 단독으로는 합계 +47%의 개선이 예측됐으나, 병용 시 개선은 +17%에 그쳤다. 검색 품질과 응답의 충실성에서는 구성 요소의 효과가 달라, 한쪽의 최적화가 다른 쪽을 해칠 수도 있다. 코퍼스가 커지면 최적의 조합도 달라진다고 한다. 평가에는 오픈소스 프레임워크 LASAGNA가 사용됐다.
Protege는 의료 AI가 실제 환경에서 얼마나 제대로 작동하는지 검증하기 위한 독립 평가를 시작했다. 본문 페이지를 가져오지 못해 평가의 구체적인 방법, 대상, 결과는 확인되지 않는다.
UserArena는 실제 e커머스에서 수집한 장기 쇼핑 행동을 대상으로 하는 대화형 벤치마크이며, 사용자 11,010명의 세션 궤적 64,729건, 상품 566,102개, 액션 유형 13종을 포함한다. 아울러 On-Policy Trajectory Distillation(OPTD)을 제안했으며, 평가한 시뮬레이터 가운데 종합 충실도가 가장 높고 오프라인 시뮬레이션에서 실서비스 정책의 효과를 가장 근접하게 재현했다고 밝혔다.
동영상을 출발점으로 외부 근거를 수집해 대화형 보고서를 만드는 에이전트를 평가하는 벤치마크 「OmniDR-Bench」와 평가 프레임워크 「Omni-ARTs」가 제안됐다. OmniDR-Bench는 중국어·영어 50개 과제와 19개 실제 세부 카테고리로 구성되며, 평가 기준은 6,414건을 포함한다. 18개 에이전트 구성으로 평가한 결과, 최고 점수는 100점 만점에 63.3점이었다. 현재 에이전트는 내용의 포괄성, 모달리티를 넘나드는 인과·논리 분석, 인용의 정확성에서 개선이 필요하다.
MMEnterprise-Bench는 팀 협업으로 갱신되는 멀티모달 업무 기록을 대상으로 에이전트의 추론 능력을 평가하는 벤치마크다. 1,613개 문항을 수록하며, Evidence Reasoning, Conflict Resolution, Unanswerability의 3개 카테고리로 구성된다.
S-Agent 2.0은 영속적인 장면 메모리와 평이한 공간 언어 해석을 3D 인지 도구를 갖춘 범용 코딩 에이전트에 결합해 공간 추론을 개선한 기법이다. 오픈소스 Qwen3.8-27B를 백본으로 한 MMSI-Bench에서는 66.5, ReVSI에서는 82.3을 기록해, 같은 백본의 전문 시스템 SpatialClaw(62.6, 74.5)를 웃돌았다. Gemini-3.8-Flash에서는 MMSI-Bench 74.1, ReVSI 90.5에 도달했다.
Anthropic은 10월 20일 시점에 Claude Fable 5.5를 공식 발표하지 않았다. 확인되는 최신 Fable은 5.1이다. 10월 13일 LiteLLM 카탈로그에 추가된 azure_ai/claude-fable-5-5는 가격과 기능 값을 Fable 5.1에서 그대로 가져왔으며, 이후 저장소 기록에서 이의가 제기되어 삭제되었다. 공식 사양, 가격, 벤치마크 결과는 확인되지 않았고, 본 사이트도 실제 기기 테스트를 진행하지 않았다.
본 논문은 벤치마크를 난이도에 관한 경험적 측도로 정식화하고, 측도 불일치와 커버리지 공백이라는 두 가지 실패 모드를 규명한다. 7개 분야에 걸친 인기 벤치마크 25개를 분석한 결과, 다수의 벤치마크가 특정 난이도 영역을 과도하게 중시하고 있으며 리더보드의 결론은 신중하게 해석해야 한다고 밝혔다. 또한 난이도를 겨냥한 문항 재작성 알고리즘 BenchFill을 제안하고, 국지적인 커버리지 공백을 줄이는 효과를 보였다.
ElevenLabs는 음성-음성 모델 'Eleven Realtime'으로 v1 Max와 v1 Mini 두 종을 공개했다. v1 Max는 Big Bench Audio에서 98.8%, 응답 시간 0.57초를 기록했다고 한다. 두 모델은 ElevenAgents 플랫폼과 OpenAI 호환 Realtime API에서 이용할 수 있다.
OpenAI는 COBOL과 Fortran처럼 학습 코드가 적은 '저자원 언어'에서 성능이 향상됐다고 발표했다. 20개 언어를 대상으로 한 MultiLangBench에서는 추론 노력을 최대로 설정한 GPT-6 Astra가 평균 87.4%의 테스트 합격률을 기록해, GPT-5.6 Terra의 약 38%에서 상승했다. COBOL 마이그레이션 벤치마크에서는 GPT-6.1 Sol이 낮은 추론 노력으로 86.6%의 정확도에 도달해, GPT-5.6 Sol의 5.4%를 크게 웃돌았다.
Ai2가 LLM 의사결정에서 속성별 공정성을 최종 선택뿐 아니라 판단의 흔들림 정도까지 측정하는 벤치마크 FairStress를 공개했다. 300개 시나리오와 속성·설득문 조합으로 1300만 건이 넘는 테스트 케이스를 갖추고 있으며, Olmo-eval에도 포함한다. Olmo, Llama, Qwen, Gemma, Claude, GPT 등에서 같은 설득문이라도 유리해지는 속성에 따라 판단이 바뀌는 정도가 다른 경향을 확인했다.
ALTK-Evolve는 GPT-4.1로 학습한 가이드라인을 기본 ReAct 에이전트의 시스템 프롬프트에 추가하는 방식으로, 모델 가중치를 갱신하지 않고도 τ²-bench 소매 도메인에서 Pass^4 67.5%를 달성했다. 이는 2026년 10월 12일 시점 리더보드에 있는 소매 부문 전체 항목을 웃도는 수치다. 항공 도메인에서도 평균 정확도가 57.5%에서 65.0%로 향상되었다.
HarnessPro는 레이블 없이 AI 에이전트의 하네스를 진화시켜 성능 향상과 실행 비용 절감을 동시에 달성하는 기법이다. GPT-5.5와 Codex를 사용한 Terminal-Bench 2, SWE-Bench Pro, ProgramBench에서 heavy 모드는 RHO와 비교해 평균 합격률을 2.0포인트 높였고, 태스크당 비용은 26.1% 줄였다. GLM-5.2와 Claude Code를 조합한 경우에도 같은 우위가 성립한다.
AdaExploreBench는 LLM 에이전트가 숨겨진 환경 규칙을 능동적으로 발견하고, 통보 없이 변하는 규칙에 적응할 수 있는지 평가하는 벤치마크다. 8개 LLM을 대상으로 한 실험에서 GPT-6 Sol조차 보정 정확도가 61.9%에 그쳤으며, 충분한 증거를 제공하거나 규칙 드리프트를 제거하면 평균 성능이 약 10% 향상됐다. 에이전트는 유용한 증거가 주어지면 추론할 수 있지만, 적절한 증거를 능동적으로 확보하거나 이전 지식이 더 이상 유효하지 않다는 사실을 인식하는 데에는 어려움을 겪는 것으로 나타났다.
RoboValue는 로봇 가치 모델을 시뮬레이션과 실제 로봇 양쪽에서 통합적으로 평가하는 벤치마크다. 작업 상태 이해, 시간에 따른 진행 추적, 실패로부터의 회복 추론, 가치 일관성 등 4가지 능력을 평가하며, 시뮬레이션 15개 작업과 실제 로봇 20개 작업의 조작 데이터셋을 포함한다. 대표적인 모델들은 성과나 전진 진행도 점수가 높았지만, 세부 지시 파악, 이력에 의존하는 진행 추적, 회복 평가에서 오류를 보였다고 한다.
저랭크 어댑터를 활용한 파라미터 효율적 파인튜닝(PEFT)으로, 최대 104B 파라미터의 멀티모달 파운데이션 모델을 뇌 인코딩용으로 적응시키는 기법이다. 동일한 Qwen3-Omni 백본을 사용한 Brain LoRA는 Algonauts 2025 Challenge에서 공개된 결과 중 최고 성능을 달성했다. 또한 200개 이상의 적응 모델을 앙상블한 결과는, 작성 시점에 공개된 Algonauts 사후 리더보드에서 1위를 차지했다.
연구진은 월드 모델이 알려진 상태와 행동을 본 적 없는 조합으로 재결합했을 때 그 동역학을 일반화할 수 있는지 평가하는 벤치마크 'AnyGoal'을 제안했다. 여러 환경과 월드 모델 계열에서 검증한 결과, 현행 모델은 이 재결합 조건에서 일관되게 실패하는 것으로 나타났다. 아울러 벤치마크의 과제 세트와 오픈소스 라이브러리도 함께 공개됐다.
OpenAI는 COBOL, Fortran, Visual Basic 등 저자원 프로그래밍 언어에서의 구축 및 마이그레이션 능력이 향상되었다고 발표했다. MultiLangBench에서 GPT-6 Astra는 20개 언어 평균 통과율 87.4%를 기록해, GPT-5.6 Sol의 26.8%를 웃돌았다. COBOL 마이그레이션 평가에서는 GPT-6.1 Sol이 낮은 추론 부하에서 86.6%, 높은 추론 부하에서 97.9%에 도달했다.
Hugging Face의 Irene Solaiman 수석 정책 책임자는 AI 연구소들이 도입을 확대하고 있는 제3자 내장형 평가자가 간단한 해법이 되지는 않는다고 지적했다. 벤치마크 방법은 아직 성숙 단계에 있으며, 결과를 재현할 수 있는지는 모델 접근성, 특히 오픈 웨이트가 관건이라고 밝혔다. 평가 대상도 모델 단체에서 하네스와 에이전트를 포함한 시스템 전체로 넓어지고 있지만, 에이전트 평가는 어렵고 비용이 많이 들며 하네스를 대상으로 한 평가는 적다고 덧붙였다.