평가 출처공식 사이트
EQ-Bench 4 · 감정과 대인 이해
EQ-Bench · 여러 차례 오가는 대화에서 인물의 감정, 말하지 않은 요구, 서로 다른 소통 방식을 이해하는지 봅니다.
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
가상 인물 120명과 16턴 롤플레이를 진행하고, 3개 회사의 모델 심사위원이 번갈아 블라인드 평가합니다. Elo만 사용하며, 행동 스타일 traits는 높을수록 좋은 능력치로 다루지 않습니다. 이전 v3는 이중 계산하지 않습니다.
활용 방식
관찰 중: 공개 데이터와 라이선스는 이용할 수 있으며, 새 평가 라운드를 기다립니다. 카테고리의 출처 수를 채우려고 유효 기간을 늘리지는 않습니다.
한계와 데이터 출처
영어로 된 가상 대화이고, 인간 전문가의 검증도 아직 없습니다. 실제 사람의 만족도나 중국어 감성 지능과 같다고 볼 수 없습니다. 현재 성적은 45일 유효 기간을 넘겼습니다.
데이터 라이선스: MIT · EQ-bench-site README 메타데이터 기재
EQ-Bench에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.