Artificial Analysis v5와 벤치마커의 딜레마
지금까지의 흐름
Artificial Analysis는 지능 지표 「Intelligence Index」를 v5로 업데이트하고, Knowledge Work, Coding, Science, General을 각각 25%씩의 가중치로 구성했다. 새 지표에서는 8개의 클로즈드 모델이 최상위 오픈 웨이트 모델로 꼽히는 Kimi K3.1 Pro를 앞질렀다. 필자는 단일 점수로 집약하면 반드시 트레이드오프가 생기며, 실제 활용은 매우 편차가 커서 지표가 현실을 충분히 포착하지 못한다고 논한다.
Interconnects (Nathan Lambert) 발췌
보도 타임라인
보도를 따라가며 이슈의 여러 측면을 살펴보세요.
- Interconnects (Nathan Lambert)Artificial Analysis v5와 벤치마크 제작자의 딜레마
Artificial Analysis는 지능 지표 「Intelligence Index」를 v5로 업데이트하고, Knowledge Work, Coding, Science, General을 각각 25%씩의 가중치로 구성했다. 새 지표에서는 8개의 클로즈드 모델이 최상위 오픈 웨이트 모델로 꼽히는 Kimi K3.1 Pro를 앞질렀다. 필자는 단일 점수로 집약하면 반드시 트레이드오프가 생기며, 실제 활용은 매우 편차가 커서 지표가 현실을 충분히 포착하지 못한다고 논한다.
이 이슈의 화제도 추이
현재 화제도 3·비교 가능한 최고치 7 (10월 29일 11:00)·24시간 비교 가능 변화 -49%
추이는 연속으로 빠짐없이 관측한 계정만 비교하므로 현재 화제도 수치보다 범위가 좁을 수 있습니다. 포인터를 움직이거나 차트를 누르면 시간대별 화제도를 볼 수 있고, 키보드에서는 왼쪽·오른쪽 방향키를 쓰면 됩니다.