평가 출처공식 사이트
BullshitBench v2
Peter Gostev / BullshitBench / 지식 · 질문에 담긴 잘못된 전제를 알아차리는지, 오류에 편승해 지어낸 이야기를 이어 가지 않는지를 봅니다.
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
공식 기본값인 전체 시도 중 명확한 식별률을 반영하고, 답변한 응답의 평균 점수도 남겨 둡니다. 거부율은 감사용으로 남겨 둡니다. 두 원래 지표는 현재 종합·범주 표에 넣지 않습니다.
활용 방식
원래 결과 참고: 같은 공개 데이터 버전에서 집계, 문제 세트, 구성, 실행 날짜를 대조한 뒤 자동 수집합니다. 익명 모델은 공개하지 않으며, 고정 버전을 확인할 수 없는 롤링 API는 모델의 대표 결과로 삼지 않습니다. 현재는 종합·범주 점수에 넣지 않습니다.
한계와 데이터 출처
모두 잘못된 전제의 문제여서 일반적인 지식의 폭을 대표하지 않습니다. 심사 모델과 거부 처리 방식이 결과에 영향을 주며, 롤링 별칭과 익명 모델은 먼저 신원 검증이 필요합니다.
데이터 라이선스: MIT · Copyright (c) 2026 Peter Gostev. 공식 결과는 같은 저장소에서 공개되며, 데이터만 따로 적용되는 라이선스 예외는 없습니다.
Peter Gostev / BullshitBench에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.