Artificial Analysis v5와 벤치마크 제작자의 딜레마

Artificial Analysis는 지능 지표 「Intelligence Index」를 v5로 업데이트하고, Knowledge Work, Coding, Science, General을 각각 25%씩의 가중치로 구성했다. 새 지표에서는 8개의 클로즈드 모델이 최상위 오픈 웨이트 모델로 꼽히는 Kimi K3.1 Pro를 앞질렀다. 필자는 단일 점수로 집약하면 반드시 트레이드오프가 생기며, 실제 활용은 매우 편차가 커서 지표가 현실을 충분히 포착하지 못한다고 논한다.