평가 출처공식 사이트
SimpleBench
SimpleBench / 추론 · 일상적인 상식·논리 문제에서 문제에 담긴 실제 제약을 모델이 알아차리는지 검증합니다.
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
객관식과 주관식을 나누고 AVG@5, 온도, 프롬프트 프로토콜을 고정합니다. 순위에 추가된 날짜를 문제별 평가 날짜로 취급하지 않습니다.
활용 방식
후보로 관찰 중: 새 모델 반영이 빠릅니다. 공식 사이트 결과의 재사용 범위와 고정 가능한 데이터 버전에 대한 설명을 기다립니다. 코드 라이선스를 그대로 적용하지 않으며, 자동 수집과 채점은 아직 하지 않습니다.
한계와 데이터 출처
일상 상식 문제는 보완적 가치가 있지만, 문제의 대표성과 객관식인지 주관식인지라는 조건이 해석에 영향을 줍니다.
데이터 라이선스: 예시 문제와 평가 코드 저장소는 MIT. 공식 사이트가 별도로 공개하는 최신 결과의 재표시 범위는 미확인.
SimpleBench에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.