평가 출처공식 사이트
Short-Story · 단편 소설
Lech Mazur · 지정된 인물, 줄거리, 문체 조건을 자연스럽게 녹여 완결된 단편 소설을 씁니다.
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
600~800단어 단편, 창작 조건 10개 항목. 같은 프롬프트, 3개 회사의 심사 모델, 양방향 비교로 평가합니다. Thurstone 주 점수를 반영하고 BT는 진단용으로만 두어 이중 계산하지 않습니다. 여러 추론 설정은 고정 규칙으로 고릅니다.
활용 방식
관찰 중: 정식 데이터의 재사용 범위를 확인하고, README와 기계 판독용 결과의 차이를 해소한 뒤 연결합니다.
한계와 데이터 출처
심사 모델에도 문학적 취향이 있습니다. 일부 모델은 모든 이야기를 다 쓰지 못했습니다. 단편을 쓰는 능력은 장편 소설이나 중국어 글쓰기 능력과 같지 않습니다.
데이터 라이선스: 순위 데이터의 재사용 허가가 명시되어 있지 않습니다. GitHub에 공개되어 있어도 오픈 라이선스라고 단정할 수 없습니다.
Lech Mazur에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.