평가 출처공식 사이트
Rapidata SVG · Human Preference
Rapidata · 모델이 생성한 벡터 이미지를 사람이 비교해 시각적 선호를 직접 평가합니다.
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
같은 정적 SVG 과제의 Preference Elo만 사용하며, Alignment, Coherence, Overall은 이중 계산하지 않습니다. 공식 데이터셋 고정 버전의 공개 성적표를 기준으로 하며, 원래의 사람 대결 기록까지 거슬러 올라갈 수 있습니다.
활용 방식
관찰 중: 공식 데이터와 라이선스는 이용할 수 있지만, DeepSeek의 롤링 별칭 3개에 고정 버전 근거가 없어 성적 전체를 당분간 반영하지 않습니다. 평가 주체가 실행 버전을 보완해 주기를 기다립니다. 현재 출처의 예산은 줄이지 않았습니다.
한계와 데이터 출처
SVG 그리기가 인터페이스 디자인 전체를 대표하지는 않습니다. 공개 원본 데이터에 모델 버전, 생성 날짜, API fingerprint가 없어 롤링 API 버전이 바뀌었는지 판단할 수 없습니다. 순위 갱신 날짜로 모델 버전을 추측할 수는 없습니다.
데이터 라이선스: CC BY 4.0 · Rapidata/svg-benchmark. 공식 출처 표시와 데이터 링크를 남깁니다.
Rapidata에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.