Simon Willison, 노트북에서 Qwen 3.8 27B로도 모델 가중치 해석이 가능하다고 보고
Simon Willison은 노트북에서 구동한 Qwen 3.8 27B가 원시 가중치 수치만으로 강화학습 네트워크가 학습한 게임을 맞혔다고 보고했다. Pac-Man, Pong, Breakout은 식별했지만 한 문제당 46분에서 1시간 넘게 걸렸다.
#벤치마크
#벤치마크
오늘 0건Simon WillisonAI 점수5555
WIRED AIAI 점수3838 AI 에이전트 군에 판타지 축구 팀을 맡긴 실험, 아직 사람에는 미치지 못해
저자가 Codex로 구축한 AI 에이전트 군이 운영한 Premier League 판타지 축구 팀은 수 주가 지난 시점에서도 평균 점수를 넘어서지 못했다. 에이전트를 100개 이상으로 늘려도 개선은 미미했고, API 이용료만 늘어났다고 한다. 예측 능력 평가에서는 GPT-5가 가장 높은 성적을 거둔 것으로 보고됐다.
Interconnects (Nathan Lambert)AI 점수4242 Artificial Analysis v5와 벤치마크 제작자의 딜레마
Artificial Analysis는 지능 지표 「Intelligence Index」를 v5로 업데이트하고, Knowledge Work, Coding, Science, General을 각각 25%씩의 가중치로 구성했다. 새 지표에서는 8개의 클로즈드 모델이 최상위 오픈 웨이트 모델로 꼽히는 Kimi K3.1 Pro를 앞질렀다. 필자는 단일 점수로 집약하면 반드시 트레이드오프가 생기며, 실제 활용은 매우 편차가 커서 지표가 현실을 충분히 포착하지 못한다고 논한다.
TechCrunch AIAI 점수3838 Hugging Face 정책 책임자, 내장형 AI 평가자는 간단한 해법이 아니라고 지적
Hugging Face의 Irene Solaiman 수석 정책 책임자는 AI 연구소들이 도입을 확대하고 있는 제3자 내장형 평가자가 간단한 해법이 되지는 않는다고 지적했다. 벤치마크 방법은 아직 성숙 단계에 있으며, 결과를 재현할 수 있는지는 모델 접근성, 특히 오픈 웨이트가 관건이라고 밝혔다. 평가 대상도 모델 단체에서 하네스와 에이전트를 포함한 시스템 전체로 넓어지고 있지만, 에이전트 평가는 어렵고 비용이 많이 들며 하네스를 대상으로 한 평가는 적다고 덧붙였다.
One Useful Thing (Ethan Mollick)AI 점수3838 AI에 면접을 보게 하다: 벤치마크로는 측정할 수 없는 모델의 능력
저자는 공개 벤치마크 점수만으로는 용도에 맞는 AI 모델을 고를 수 없다고 보고, 이용자가 직접 모델을 시험해 평가해야 한다고 주장한다. 글쓰기 과제 사례에서 Claude 4.5 Sonnet은 뛰어난 글쓰기 모델로 알려져 있는 반면, Gemini 2.5 Pro는 사용 단어 수를 정확히 관리하지 못했다고 보고했다. 또한 벤치마크에는 공개된 테스트 문항이 학습 데이터에 섞이는 문제와, 점수 차이의 의미가 보정되지 않은 문제가 있다고 지적한다.