Hugging Face@huggingfaceAI 점수4545Introducing RoboColosseum An open robot eval initiative by @huggingface @BitRobotNetwork @eaic_sg @DJiafei Access: - 100+ robots (@UnitreeRobotics G1s, @LeRobotHF SO-101s, YAMs, Franka and more) - 140+ in-the-wild scenes - Open rollout data - 10,000 FREE eval hrs Thread ↓
Collinear AI의 사이버보안 평가 벤치마크 「CWE-bench v2」는 실제 오픈소스 리포지토리에서 기존 기능을 깨뜨리지 않고 보안 취약점을 수정하는 과제를 91종의 CWE에 걸쳐 100건 공개했다고 밝혔다.
Hugging Face가 장문 문서 안 개체(엔티티)의 상태 변화를 언어 모델이 어디까지 추적할 수 있는지 측정하는 벤치마크 'StateBench'를 공개했다. 난이도는 4단계로 나뉘며, 변수에 값을 대입하는 방식에 따라 갱신 연산의 복잡도가 달라진다. Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol, Luna 같은 프런티어 모델은 입력이 길어지면 까다로운 형식의 상태 추적에서 무너졌다. 반면 순환(recurrent)형과 하이브리드형 모델은 Transformer보다 더 먼 길이까지 일반화할 수 있었다고 한다.
동일한 오픈 웨이트 모델 GLM-5.3-flash를 AppWorld의 90개 태스크로 비교한 결과, 하네스에 따라 태스크 완료율이 CUGA의 81.1%에서 Deep Agents의 30.0%까지 크게 달랐다. 세 조건 모두 성공한 시나리오의 비율(SGC)도 CUGA 66.7%, Hermes 26.7%, Deep Agents 6.7%였다.
OpenAI는 일상생활의 실무 과제에서 AI의 성능을 측정하는 평가 'LifeVal'을 발표했다. 미국과 국제의 시간 사용 조사를 바탕으로 3,995명의 조사에서 중요하게 여겨진 육아, 의료, 가계 관리, 쇼핑, 행정 절차 등의 과제를 선정했다. 공개된 사례에서는 GPT-6 Astra의 최고 기록이 여러 과제에서 100%에 도달했다.
OpenAI@OpenAIAI 점수3838
Mistral AI@MistralAIAI 점수2828Impressed by the new @MistralAI large-4 update! The model update is much better at coding and performs as the 2nd best OSS model on our coding benchmark
Property Finder는 평가 라벨의 96.8%가 기존 모델의 예측에서 이어받은 것이었으며, 평가가 현행 모델 쪽으로 치우쳐 있었다고 밝혔다. 전문가가 독립적인 정답 데이터를 새로 만들고 진화적 프롬프트 최적화를 수행한 결과, Amazon Bedrock에서 정확도를 높이면서 비용을 86% 줄이는 모델을 선정했다. 평가에는 356장의 이미지를 사용했으며, 주요 지표로 Micro F1을 채택했다.
Ai2는 LLM이 과학 연구 아이디어의 참신성을 얼마나 신뢰성 있게 평가할 수 있는지 검증한 연구 「Old Ideas, Novel Problems」를 공개하고, 참신성 판정용 벤치마크, 데이터, 코드를 함께 공표했다. ICLR 2026의 심사 코멘트에서 참신성에 관한 기술을 추출해 평가 데이터를 구축했으며, GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6 등 6개 LLM 판정기를 비교했다.
Microsoft와 Hugging Face는 ThinkingBox의 데이터베이스 상태 판정을 강화학습 보상으로 쓰는 에이전트 학습 방법 「ThinkingBox-Training」을 GitHub에 공개했다. Qwen3.8-27B를 GRPO로 50스텝 학습한 결과, 507개 과제 벤치마크에서 평균 성공률(pass@1)이 51.70%에서 60.78%로 올랐고, 20회 모두 성공한 과제는 38건에서 107건으로 늘었다.
Microsoft AI가 AI 진단 시스템 MAI-DxO와 순차 진단 벤치마크 SDBench에 관한 논문을 Science에 발표했다. NEJM의 복잡한 증례에서 MAI-DxO의 진단 정확도는 83%로, 외부 자료가 없는 경우 22%, 있는 경우 36%였던 의사들을 웃돌았다. MIMIC-IV-ED의 응급 증례에서는 80% 대 47%였으며, SDBench는 일부 NEJM 증례를 대상으로 오픈소스로 공개된다.
선정 이유: 순차적 진단을 측정하는 SDBench와 여러 가상 의사가 토론하는 MAI-DxO의 설계, 그리고 정확도와 비용 양면의 비교가 제시되어 있어 의료 AI 평가의 사고방식을 파악하기 쉽다.
Ai2가 LLM 의사결정에서 속성별 공정성을 최종 선택뿐 아니라 판단의 흔들림 정도까지 측정하는 벤치마크 FairStress를 공개했다. 300개 시나리오와 속성·설득문 조합으로 1300만 건이 넘는 테스트 케이스를 갖추고 있으며, Olmo-eval에도 포함한다. Olmo, Llama, Qwen, Gemma, Claude, GPT 등에서 같은 설득문이라도 유리해지는 속성에 따라 판단이 바뀌는 정도가 다른 경향을 확인했다.
ALTK-Evolve는 GPT-4.1로 학습한 가이드라인을 기본 ReAct 에이전트의 시스템 프롬프트에 추가하는 방식으로, 모델 가중치를 갱신하지 않고도 τ²-bench 소매 도메인에서 Pass^4 67.5%를 달성했다. 이는 2026년 10월 12일 시점 리더보드에 있는 소매 부문 전체 항목을 웃도는 수치다. 항공 도메인에서도 평균 정확도가 57.5%에서 65.0%로 향상되었다.
OpenAI는 COBOL, Fortran, Visual Basic 등 저자원 프로그래밍 언어에서의 구축 및 마이그레이션 능력이 향상되었다고 발표했다. MultiLangBench에서 GPT-6 Astra는 20개 언어 평균 통과율 87.4%를 기록해, GPT-5.6 Sol의 26.8%를 웃돌았다. COBOL 마이그레이션 평가에서는 GPT-6.1 Sol이 낮은 추론 부하에서 86.6%, 높은 추론 부하에서 97.9%에 도달했다.
Microsoft AI의 진단 오케스트레이터 MAI-DxO는 NEJM 증례 기록을 이용한 평가에서 최대 85%의 증례를 올바르게 진단했으며, 경험 많은 의사 그룹의 4배 이상의 비율에 이르렀다. 의사보다 비용 대비 효과도 높다고 한다. 평가에는 NEJM의 최신 304개 증례를 단계적인 진단 과정으로 변환한 Sequential Diagnosis Benchmark(SD Bench)가 사용되었으며, 검사에는 가상의 비용이 설정되었다. 다만 보다 일반적인 증상에서의 성능은 추가 검증이 필요하다고 한다.
Perplexity@perplexity_aiAI 점수3939Gemini 4 Argon이 WANDR에서 신기록을 세웠다. 현재 Perplexity에서 Pro 및 Max 구독자를 대상으로 제공되고 있다.
연구에서는 데이터가 제한된 저자원 언어의 사전학습에서 고자원 언어의 데이터를 섞는 방법이 하이퍼파라미터 조정보다 성능을 크게 개선한다는 결과가 나왔다고 밝혔다. 150M에서 1.43B 파라미터까지 4개 규모에서 아랍어에 영어 데이터를 섞은 약 1000회의 사전학습을 비교했으며, 검증 손실과 하위 작업 정확도 모두에서 혼합 방식이 우위를 보였다. 혼합의 효과는 목적 언어 고유 데이터 2~3배분(검증 손실), 2~13배분(하위 작업 정확도)에 해당하며, 검증 손실만으로는 혼합의 가치가 과소평가된다.
기계번역(MT) 품질 평가에서 LLM과 인간 어노테이터의 일치도를 MQM과 ESA 두 가지 평가 방식으로 검증한 연구다. 70개 언어쌍의 장문 테스트 세트와 WMT23·WMT25 데이터를 활용한 결과, LLM의 일치도가 인간끼리의 일치도를 웃도는 경우도 있었으나 많은 설정에서는 양쪽 모두 신뢰성이 충분하지 않았다. 인간은 세분화된 MQM과 저자원 언어쌍에서, LLM은 경미한 오류와 오류 구간(error span) 어노테이션에서 과제를 안고 있는 것으로도 나타났다.
GitHub가 AI 코드 리뷰를 위한 오프라인 벤치마크 「ReviewBench」를 공개했으며, 현재 이용할 수 있다. GitHub의 PR 1억 3,900만 건(103.9M)의 분포를 바탕으로 19개 언어, 공개 PR 219건으로 구성되며, 사람 리뷰어, 프론티어 LLM, 정적 분석으로 만든 골든 세트를 사용한다. 시니어 엔지니어가 독립적으로 검증한 결과 96.6%의 일치율을 보였으며, Copilot code review의 오프라인 평가 역시 실제 운영 실험의 방향을 더 쉽게 예측할 수 있게 되었다.
Microsoft와 Hugging Face는 AI 에이전트가 남기는 백엔드 상태와 부작용으로 채점하는 벤치마크 ThinkingBox를 공개했다. 507개의 업무 워크플로를 각각 20회씩 실행했으며, Claude Opus 5.5가 pass@1 67.16%로 최상위를 기록했다. OpenEnv를 통해 자신의 모델도 평가할 수 있다.
선정 이유: 최종 응답이 아니라 DB 상태를 기준으로 채점하고, 20회 반복에 걸친 일관성과 비용까지 수치로 비교했다는 점에서 에이전트 평가 설계를 고민할 때 참고할 만한 자료다.
Hugging Face가 다국어 및 보이스 클로닝을 지원하는 오픈소스 TTS 모델을 객관적 지표로 평가하는 「Open TTS Leaderboard」를 공개했다. 인식 정확도를 나타내는 WER/CER, 추론 속도를 나타내는 RTFx/TTFA, 화자 유사도를 나타내는 SIM을 활용하며, 아레나형 평가에 비해 모델 평가 기간을 수 주에서 수 시간으로 단축할 수 있다고 밝혔다. 사람의 선호도를 측정하는 평가는 「Listen」 탭의 투표에 맡긴다.
Hugging Face는 MCP 에이전트의 답변을 출처 단위로 검증하는 후처리 레이어 ProvenanceGuard를 제안했다. 근거 전체로는 뒷받침되지만 답변이 지목한 출처가 아닌 다른 출처에만 존재하는 주장, 이른바 출처 오인을 탐지한다. 의료 에이전트의 281건 트레이스로 평가한 결과, 전문가가 통과시키면 안 된다고 본 139건 중 138건을 탐지했으며, 뒷받침된다고 판단된 67건은 재확인이나 수정 대상으로 넘겼다.
Qwen@Alibaba_QwenAI 점수5151
OpenAI는 실제 정신건강 관련 대화에서 AI 응답의 유용성과 안전성을 평가하기 위한 벤치마크 「MentalHealthBench」를 발표했다. 전문가의 지식을 반영한 벤치마크다.
Qwen@Alibaba_QwenAI 점수3131Qwen-Image-2.1 by @Alibaba_Qwen just landed as the #1 open source model in the Image Edit Arena and Text-to-Image Arena! With 1367 pts in the Image Edit Arena, Qwen-Image-2.1 took the #1 spot among open. It landed #16 overall, just 3 pts from GPT-Image-1.5-high-fidelity at #15. See the leaderboard for the Text-to-Image arena below. Congrats to the @Alibaba_Qwen team on this contribution to the open source ecosystem!
영국 AI Security Institute(AISI)가 EvalEval의 공개 기반인 「Evaluation Cards」를 활용해 평가 결과 공개를 시작했다.
Google Research가 중거리 물류(middle-mile logistics) 문제를 위한 현실적인 벤치마크를 만드는 C++ 기반 인스턴스 생성 도구 「MilleMiglia」를 발표했다. 물류 기업들이 네트워크 구성과 수요량을 기밀로 취급해 왔기 때문에 공개 데이터가 부족했으나, 이 도구는 프라이버시를 고려한 데이터를 생성할 수 있다. 소스 코드와 문서는 GitHub에서 공개되어 있다.
LFM2.5-350M을 TRL의 Group Relative Policy Optimization(GRPO)으로 약 500개 샘플, 100스텝 학습해 IFStruct 벤치마크 점수를 22.6%에서 29.7%로 끌어올리는 절차를 공개했다. 학습은 무료 등급의 Colab과 Kaggle GPU에서 실행할 수 있으며, 노트북은 GitHub에서 공개되어 있다. 평가는 llama.cpp를 사용해 MacBook에서 로컬로 진행했고, 베이스라인은 22.6%로 IFStruct 공식 블로그가 보고한 21.1%에 가까운 결과였다.
Hugging Face가 LLM 벤치마크를 개별 프롬프트 단위로 분석하는 기법 「BenchMIRT」를 발표했다. 100개의 LLM, 16개의 벤치마크, 34K개가 넘는 질문의 결과로부터 사전 지정 없이 「안전성」과 「범용 추론」이라는 두 가지 주요 차원을 추출했다. 예를 들어 BBQ는 안전성 벤치마크로 분류되지만 범용 추론과의 상관이 강했고, WMDP도 안전성보다 범용 추론과 강하게 연관되어 있었다.
Hugging Face와 Voice Arena는 Open ASR Leaderboard에 Monsoon en-IN과 Monsoon hi-IN 두 개의 평가 세트를 추가했다. Hindi는 지금까지 유럽 언어만 있던 다국어 탭에서 처음으로 인도계 언어가 된다. 네 개의 분할에는 총 4,888명의 화자가 포함되며, 각 화자에게 12개의 속성이 기록되어 있다.
Google DeepMind는 Singapore AI Safety Institute, OpenMined, AVERI, MLCommons와 함께 Gemini Flash Lite를 비공개 벤치마크로 평가하는 이중 맹검 방식의 AI 평가를 시범 운영하고 있다고 밝혔다. 외부 평가 문항은 암호 기술로 만든 '상자' 안에 가둬져, 모델이 사전에 문항을 보고 성능을 최적화하는 것을 막는다. 프라이버시를 보호하는 환경에서 평가의 완전성을 높이기 위한 조치다.
Hugging Face는 음성 인식(ASR) 모델이 공개 벤치마크 고유의 패턴에 최적화되어 있는지를 측정하는 3가지 테스트를 제안했다. 오픈소스 ASR 모델 11개를 평가한 결과, 점수 상위의 여러 모델이 음성과 어긋나는 경우에도 VoxPopuli와 LibriSpeech의 참조 전사문을 그대로 재현했다. Open ASR Leaderboard에는 「Benchmark fitting」 탭이 추가되었다.
AI 에이전트에 주는 메모리 양은 모델의 능력에 맞춰 조정할 필요가 있다. ALTK-Evolve는 에이전트가 과거 시도에서 추출한 가이드라인을 추론 시점에 주입하는 방식으로, 가중치는 업데이트하지 않는다. 강한 모델인 DeepSeek-V3.2(671B MoE)는 가이드라인을 전부 제공했을 때 작업 완료율(TGC)이 +9.5포인트 향상됐다. 반면 gpt-oss-120b(117B MoE)는 엄선한 검색형 주입으로 +16.1포인트 향상됐으며, 토큰 증가는 +5%에 그쳤다. GLM-5에서는 측정 가능한 개선이 나타나지 않았다.
LLM의 사실 오류 대부분은 지식이 아직 없는 "빈 선반"이 아니라 꺼내지 못하는 "잃어버린 열쇠", 즉 회상의 실패라고 Google Research가 밝혔다. Gemini-3-Pro와 GPT-5에서는 사실의 95–98%가 부호화되어 있지만, 직접 회상하지 못하는 사실이 26–34%였고, 사고를 활용해도 11–12%는 실패한다.
Google Research가 AI가 생성하는 연구 성과의 주장을 증거의 연쇄(Chain-of-Evidence)로 추적할 수 있도록 하는 자율형 연구 프레임워크 「Science One Framework」를 발표했다. 기존 베이스라인 시스템은 참고문헌의 최대 21%를 환각(할루시네이션)으로 생성한 반면, 이 프레임워크는 가상의 참고문헌을 0으로 억제했다. 75편의 논문을 대상으로 한 CoE Audit에서는 4개의 정합성 검사 모두에서 기존 시스템을 웃돌았으며, MLE-Bench와 Parameter-Golf 같은 벤치마크에서도 최첨단 성능을 달성했다고 밝혔다.
DharmaOCR는 포르투갈어에 특화된 벤치마크에서 0.925점을 기록해 Mistral OCR4(0.798)와 Unlimited-OCR(0.7587)을 웃돌았다. 기사는 이 격차가 새로운 모델에도 통하는 특화 학습의 이점에서 비롯된 것이라고 설명한다. 학습은 브라질 포르투갈어 문서를 활용한 지도 파인튜닝과 Direct Preference Optimization(DPO)의 2단계로 진행됐으며, DPO는 출력의 안정성을 높인 것으로 알려졌다.
Real World VoiceEQ는 음성 AI의 인간다움을 측정하는 벤치마크다. 40개 이상의 모델을 15개 이상의 평가 축, 60개 이상의 지표로 평가했으며, 100만 건을 넘는 사람의 평가를 바탕으로 한다. TTS 부문에서는 8개 능력군 모두에서 상위 5위 안에 든 구성은 없었다.
Mistral AI는 Lean 4에서의 형식 검증을 지원하는 Apache-2.0 라이선스 모델 「Leanstral 1.5」를 공개했다. 총 파라미터 119B, 활성 파라미터 6B 규모이며, miniF2F를 포화시키고 PutnamBench에서는 672문제 중 587문제를 풀었다. FATE-H에서 87%, FATE-X에서 34%를 기록해 새로운 state-of-the-art를 달성했으며, Hugging Face와 무료 API를 통해 이용할 수 있다.
