UK AISI·EvalEval, 벤치마크 결과를 재현 가능하게 만드는 노력

영국 AI Security Institute(AISI)가 EvalEval의 공개 기반인 「Evaluation Cards」를 활용해 평가 결과 공개를 시작했다.

MilleMiglia, 중거리 물류용 실감형 인스턴스 생성 도구 공개

Google Research가 중거리 물류(middle-mile logistics) 문제를 위한 현실적인 벤치마크를 만드는 C++ 기반 인스턴스 생성 도구 「MilleMiglia」를 발표했다. 물류 기업들이 네트워크 구성과 수요량을 기밀로 취급해 왔기 때문에 공개 데이터가 부족했으나, 이 도구는 프라이버시를 고려한 데이터를 생성할 수 있다. 소스 코드와 문서는 GitHub에서 공개되어 있다.

최신 오픈 아티팩트(#24): Motif-3, GLM-5.3, Hy4-preview 및 오픈 모델 라이선스 동향

지푸(Zhipu)의 GLM-5.3은 GLM-5.2 이전의 MIT 라이선스에서 독자 라이선스로 변경되었다. Model as a Service를 운영하며 계열사를 포함한 연속 12개월 매출이 100억 달러를 넘으면, 상업적 이용 전에 Z.AI의 보안 심사가 필요하다. '계열사(affiliates)'의 정의가 없어 도입의 장벽이 된다는 지적이 나온다. Kimi K3와 MiniMax M3도 제한적인 조건을 두고 있다. Motif의 Motif-3은 MIT 라이선스로 공개되어 있다.

LFM2.5-350M를 100 GRPO 스텝으로 파인튜닝해 구조화 출력의 정확도를 개선

LFM2.5-350M을 TRL의 Group Relative Policy Optimization(GRPO)으로 약 500개 샘플, 100스텝 학습해 IFStruct 벤치마크 점수를 22.6%에서 29.7%로 끌어올리는 절차를 공개했다. 학습은 무료 등급의 Colab과 Kaggle GPU에서 실행할 수 있으며, 노트북은 GitHub에서 공개되어 있다. 평가는 llama.cpp를 사용해 MacBook에서 로컬로 진행했고, 베이스라인은 22.6%로 IFStruct 공식 블로그가 보고한 21.1%에 가까운 결과였다.

BenchMIRT로 보는 LLM 벤치마크의 실제 측정 대상

Hugging Face가 LLM 벤치마크를 개별 프롬프트 단위로 분석하는 기법 「BenchMIRT」를 발표했다. 100개의 LLM, 16개의 벤치마크, 34K개가 넘는 질문의 결과로부터 사전 지정 없이 「안전성」과 「범용 추론」이라는 두 가지 주요 차원을 추출했다. 예를 들어 BBQ는 안전성 벤치마크로 분류되지만 범용 추론과의 상관이 강했고, WMDP도 안전성보다 범용 추론과 강하게 연관되어 있었다.

Open ASR Leaderboard, Voice Arena와 함께 Hindi 및 인도 영어용 Monsoon 평가 세트 추가

Hugging Face와 Voice Arena는 Open ASR Leaderboard에 Monsoon en-IN과 Monsoon hi-IN 두 개의 평가 세트를 추가했다. Hindi는 지금까지 유럽 언어만 있던 다국어 탭에서 처음으로 인도계 언어가 된다. 네 개의 분할에는 총 4,888명의 화자가 포함되며, 각 화자에게 12개의 속성이 기록되어 있다.

Google DeepMind, 세계 최초 이중 맹검 AI 평가 시범 운영

Google DeepMind는 Singapore AI Safety Institute, OpenMined, AVERI, MLCommons와 함께 Gemini Flash Lite를 비공개 벤치마크로 평가하는 이중 맹검 방식의 AI 평가를 시범 운영하고 있다고 밝혔다. 외부 평가 문항은 암호 기술로 만든 '상자' 안에 가둬져, 모델이 사전에 문항을 보고 성능을 최적화하는 것을 막는다. 프라이버시를 보호하는 환경에서 평가의 완전성을 높이기 위한 조치다.

Hugging Face、음성 인식 벤치마크에 대한 과적합을 측정하는 3가지 테스트 제안

Hugging Face는 음성 인식(ASR) 모델이 공개 벤치마크 고유의 패턴에 최적화되어 있는지를 측정하는 3가지 테스트를 제안했다. 오픈소스 ASR 모델 11개를 평가한 결과, 점수 상위의 여러 모델이 음성과 어긋나는 경우에도 VoxPopuli와 LibriSpeech의 참조 전사문을 그대로 재현했다. Open ASR Leaderboard에는 「Benchmark fitting」 탭이 추가되었다.

ALTK-Evolve로 살펴본 AI 에이전트의 최적 메모리 용량

AI 에이전트에 주는 메모리 양은 모델의 능력에 맞춰 조정할 필요가 있다. ALTK-Evolve는 에이전트가 과거 시도에서 추출한 가이드라인을 추론 시점에 주입하는 방식으로, 가중치는 업데이트하지 않는다. 강한 모델인 DeepSeek-V3.2(671B MoE)는 가이드라인을 전부 제공했을 때 작업 완료율(TGC)이 +9.5포인트 향상됐다. 반면 gpt-oss-120b(117B MoE)는 엄선한 검색형 주입으로 +16.1포인트 향상됐으며, 토큰 증가는 +5%에 그쳤다. GLM-5에서는 측정 가능한 개선이 나타나지 않았다.

Import AI 469：DiG-bench、RSI 시뮬레이터、과학 AI의 연구 감각

Import AI 469는 숨겨진 규칙을 탐색으로 찾아내는 능력을 측정하는 70개 게임 벤치마크 DiG-bench를 다룬다. Claude Code를 함께 사용한 Opus 5와 Fable 5가 최상위이지만, Tier 7에서 해결한 비율은 0.2에 그쳤고, 사람은 100%를 달성한 사례가 있다. 이 밖에도 RSI 시뮬레이터와 Inherent의 과학 AI 모델 Faraday를 소개한다.

Google Research, LLM 사실성의 병목은 부호화가 아니라 회상이라고 지적

LLM의 사실 오류 대부분은 지식이 아직 없는 "빈 선반"이 아니라 꺼내지 못하는 "잃어버린 열쇠", 즉 회상의 실패라고 Google Research가 밝혔다. Gemini-3-Pro와 GPT-5에서는 사실의 95–98%가 부호화되어 있지만, 직접 회상하지 못하는 사실이 26–34%였고, 사고를 활용해도 11–12%는 실패한다.

Import AI 468：RSI 대응 정책안 23건, PostTrainBench+, AI 개발 경쟁에서의 신뢰와 투명성

싱크탱크 IFP가 AI 연구개발 자동화 위험에 대비하는 정책안을 7개 범주, 23건으로 정리했다. MIT와 Columbia 연구자들의 논문 「Racing to Ruin」은 기업들이 감속에 합의하려면 기술 개발의 투명성과, 상대를 합리적이고 신뢰할 수 있는 주체로 볼 수 있어야 한다는 것이 핵심이라고 결론지었다. 신뢰가 낮은 균형에서는 파국으로 치닫는 경쟁이 확률 1로 일어난다고 한다.

Science One Framework, Chain-of-Evidence 기반 검증 가능한 자율형 연구 프레임워크 제안

Google Research가 AI가 생성하는 연구 성과의 주장을 증거의 연쇄(Chain-of-Evidence)로 추적할 수 있도록 하는 자율형 연구 프레임워크 「Science One Framework」를 발표했다. 기존 베이스라인 시스템은 참고문헌의 최대 21%를 환각(할루시네이션)으로 생성한 반면, 이 프레임워크는 가상의 참고문헌을 0으로 억제했다. 75편의 논문을 대상으로 한 CoE Audit에서는 4개의 정합성 검사 모두에서 기존 시스템을 웃돌았으며, MLE-Bench와 Parameter-Golf 같은 벤치마크에서도 최첨단 성능을 달성했다고 밝혔다.

Kimi.ai@Kimi_MoonshotAI 점수3636

Kimi(Moonshot AI)는 시각 지각을 기본 능력 단위로 나누어 평가하는 벤치마크 'PerceptionBench'를 공개했다. 42개 벤치마크에서 나타난 프런티어 모델의 실패 사례를 분석해 10가지 원자적 지각 능력을 도출했으며, 추론이나 외부 지식 없이 보기만 하면 답할 수 있는 검증된 질문 3,000개를 구축했다. 블로그, GitHub, Hugging Face에서 공개되어 있다.

DharmaOCR, 브라질 포르투갈어 OCR 벤치마크에서 Mistral OCR4와 Unlimited-OCR 능가

DharmaOCR는 포르투갈어에 특화된 벤치마크에서 0.925점을 기록해 Mistral OCR4(0.798)와 Unlimited-OCR(0.7587)을 웃돌았다. 기사는 이 격차가 새로운 모델에도 통하는 특화 학습의 이점에서 비롯된 것이라고 설명한다. 학습은 브라질 포르투갈어 문서를 활용한 지도 파인튜닝과 Direct Preference Optimization(DPO)의 2단계로 진행됐으며, DPO는 출력의 안정성을 높인 것으로 알려졌다.

Real World VoiceEQ, 음성 AI의 인간다움을 측정하는 벤치마크 공개

Real World VoiceEQ는 음성 AI의 인간다움을 측정하는 벤치마크다. 40개 이상의 모델을 15개 이상의 평가 축, 60개 이상의 지표로 평가했으며, 100만 건을 넘는 사람의 평가를 바탕으로 한다. TTS 부문에서는 8개 능력군 모두에서 상위 5위 안에 든 구성은 없었다.

Import AI 464：Fable의 GPU 커널 생성, AI를 통한 업무 자동화, 아날로그 컴퓨팅

Jack Clark의 뉴스레터 Import AI 464는 Fable이 KernelBench-Mega에서 18.71배의 속도 향상을 달성했다고 전했다. Remote Labor Index에서는 AI의 성공률이 2.5%에서 16.1%로 상승했으며, OSWorld 2.0에서는 최고 성능이 20.6%에 그쳤다. JD의 재고 관리 시스템 Oxygen AIIC와 단편소설도 수록되어 있다.

Mistral AI, Lean 4용 형식 검증 모델 「Leanstral 1.5」 공개

Mistral AI는 Lean 4에서의 형식 검증을 지원하는 Apache-2.0 라이선스 모델 「Leanstral 1.5」를 공개했다. 총 파라미터 119B, 활성 파라미터 6B 규모이며, miniF2F를 포화시키고 PutnamBench에서는 672문제 중 587문제를 풀었다. FATE-H에서 87%, FATE-X에서 34%를 기록해 새로운 state-of-the-art를 달성했으며, Hugging Face와 무료 API를 통해 이용할 수 있다.

Google DeepMind의 Co-Scientist, Calico 노화 연구에서 새로운 길을 열다

Calico Life Sciences는 Co-Scientist를 활용해 통합 스트레스 반응(ISR)이 대사에 의해 조절된다는 새로운 가설을 세웠다. 연구자들은 Co-Scientist와 대화하며 검증 실험의 설계를 다듬었고, 결과가 나올 때마다 새로운 정보를 입력했다. 그 결과 ISR이 건강과 질병에서 맡는 역할에 중요한 시사점을 주는 새로운 발견을 얻었으며, 연구팀은 향후 이 성과를 발표할 예정이다.

Google Research, Empirical Research Assistance(ERA)의 과학 연구 활용 사례 소개

Google Research 과학자들이 전문가 수준의 실증 소프트웨어를 생성하는 AI 도구 「Empirical Research Assistance(ERA)」를 공중보건, 우주론, 기후 등의 분야에서 활용하고 있다고 밝혔다. 공중보건 분야에서는 인플루엔자, COVID-19, RSV의 입원 예측치를 매주 실시간으로 제출하고 있으며, 인플루엔자와 COVID-19의 공개 리더보드에서 상위 또는 그에 준하는 성적을 기록했다. 우주론 분야에서는 ERA와 Gemini Deep Thinking을 결합해 우주 끈(cosmic string)에서 방출되는 중력 에너지에 관한 일반해 6개와 점근 극한의 간결한 식을 도출했다.

Ethan Mollick, GPT-5.5 조기 접근으로 직접 테스트하며 발전과 남은 굴곡 평가

Ethan Mollick은 GPT-5.5에 조기 접근해 AI의 빠른 개선이 이어지고 있다고 평가했다. GPT-5.5 Pro는 3D 항구 도시 시뮬레이션에서 도시의 진화를 실제로 모델링할 수 있었던 유일한 모델이었으며, 소요 시간도 GPT-5.4 Pro의 33분에서 20분으로 줄었다. 한편 장편 픽션의 품질 등 능력의 굴곡은 여전히 남아 있다.

Google Research, AI 벤치마크에 필요한 평가자 수 검증

Google Research는 AI 평가에서 항목 수와 항목별 평가자 수 중 어느 쪽을 우선해야 하는지 검증했다. 다수결과의 일치를 살펴볼 때는 항목 수를 늘리는 편이 효과적이며, 의견의 폭을 포착하려면 평가자 수를 늘려야 한다. 기존의 1~5명이라는 기준은 불충분한 경우가 많으며, 총 약 1,000건 규모의 어노테이션이라도 적절히 배분하면 재현성이 높은 결과를 얻을 수 있다고 밝혔다.

Ethan Mollick, Gemini 3를 실제 업무로 검증…GPT-3 이후 3년간의 AI 진화를 보여주다

Ethan Mollick은 Google의 새 모델 Gemini 3를 시험해 벤치마크 수치 대신 실제 작업 결과로 AI의 발전을 보여줬다. Antigravity를 이용해 자신의 과거 기사로 예측 사이트를 만들게 했고, 오래된 연구 데이터로 14페이지짜리 논문도 쓰게 했다. 오류는 남아 있지만, 인간의 역할이 수정하는 쪽에서 지휘하는 쪽으로 옮겨가고 있다고 주장한다.

AI에 면접을 보게 하다: 벤치마크로는 측정할 수 없는 모델의 능력

저자는 공개 벤치마크 점수만으로는 용도에 맞는 AI 모델을 고를 수 없다고 보고, 이용자가 직접 모델을 시험해 평가해야 한다고 주장한다. 글쓰기 과제 사례에서 Claude 4.5 Sonnet은 뛰어난 글쓰기 모델로 알려져 있는 반면, Gemini 2.5 Pro는 사용 단어 수를 정확히 관리하지 못했다고 보고했다. 또한 벤치마크에는 공개된 테스트 문항이 학습 데이터에 섞이는 문제와, 점수 차이의 의미가 보정되지 않은 문제가 있다고 지적한다.