평가 출처공식 사이트
Arena Creative Writing
LMArena · 소설, 시 같은 창작 표현을 사람이 블라인드로 비교해 작품이 독자를 끌어당기는지 봅니다.
클로데이트 반영 상태순위 반영
가중치5%
원본 데이터 기준 시각10/28 09:00
마지막 동기화11/05 08:05
무엇을, 어떻게 측정하나
공식 데이터셋 text_style_control의 creative_writing 카테고리를 불러와 스타일 통제 후의 Bradley-Terry 점수와 신뢰 구간을 사용합니다. 전체 텍스트나 직업적 글쓰기 카테고리 성적은 가져다 쓰지 않습니다.
활용 방식
정식으로 채점합니다. 기존 인간 선호 10% 중 5%를 떼어 오고 전체 텍스트에 5%를 남기므로 전체 예산은 늘어나지 않습니다. 다른 Arena 과제와 근거 계열을 공유합니다.
결과
정해진 규칙에 따라 공개 모델마다 하나의 구성을 대표로 씁니다. 익명 테스트 모델은 표시하지 않고 원래 순위를 유지하며, 평가마다 최대 30개입니다.
| 원래 순위 | 모델 | 원래 점수 | 대표 구성 |
|---|---|---|---|
| 1 | Claude Opus 5.5 (High)Anthropic | 1,520.2 | High 추론 |
| 2 | Gemini 4 Argon (High)Google | 1,517 | High 추론 |
| 3 | Gemini 4 Carbon (High)google | 1,514.9 | High 추론 |
| 4 | Claude Fable 5 (High)Anthropic | 1,500.7 | High 추론 |
| 5 | Claude Opus 4.6 (High)Anthropic | 1,499.2 | High 추론 |
| 6 | Gemini 3.7 Flash (High)Google | 1,489.6 | High 추론 |
| 7 | Claude Opus 4.7 (High)Anthropic | 1,488.9 | High 추론 |
| 8 | Claude Fable 5.1 (Max)Anthropic | 1,488.7 | Max 추론 |
| 9 | Muse Wonder (Max)Meta | 1,487.2 | Max 추론 |
| 10 | Gemini 3.8 Flash (High)Google | 1,487 | High 추론 |
| 11 | Gemini 3 ProGoogle | 1,484.5 | 출처 기본 구성 |
| 13 | Gemini 3.1 Pro PreviewGoogle | 1,481.4 | 출처 기본 구성 |
| 15 | Claude Opus 5 (Max)Anthropic | 1,473.8 | Max 추론 |
| 17 | Gemini 3.6 Flash (High)Google | 1,471.4 | High 추론 |
| 18 | GPT-5.6 Sol (xHigh)OpenAI | 1,470 | xHigh 추론 |
| 20 | Claude Opus 4.5 (High, 32K, 20251101)Anthropic | 1,469.6 | High 추론 |
| 21 | Claude Opus 4.8 (High)Anthropic | 1,469.3 | High 추론 |
| 22 | Qwen3.8-MaxAlibaba | 1,468.6 | 출처 기본 구성 |
| 23 | Claude Sonnet 5.5 (xHigh)Anthropic | 1,468.4 | xHigh 추론 |
| 24 | Gemini 3.5 Flash (High)Google | 1,464.8 | High 추론 |
| 25 | Muse Spark 1.3 (Max)Meta | 1,464.3 | Max 추론 |
| 26 | Muse SparkMeta | 1,464 | 출처 기본 구성 |
| 27 | Grok 4.20 Beta 1xAI | 1,463.4 | 출처 기본 구성 |
| 29 | Kimi K3 (Max)Moonshot AI | 1,462.7 | Max 추론 |
| 31 | Gemini 3 FlashGoogle | 1,456.7 | 출처 기본 구성 |
| 32 | GLM-5.3 (Max)Z.ai | 1,456.6 | Max 추론 |
| 33 | GPT-5.5 InstantOpenAI | 1,454.2 | 출처 기본 구성 |
| 35 | GPT-6.1 Sol (Max)OpenAI | 1,453.9 | Max 추론 |
| 36 | GLM-5.2 (Max)Z.ai | 1,452.1 | Max 추론 |
| 37 | Grok 4.5xAI | 1,451.7 | 출처 기본 구성 |
한계와 데이터 출처
일반 사용자의 자유로운 프롬프트를 분류기로 나눈 것이어서 모두가 장편 소설이나 중국어 창작은 아닙니다. 투표에는 개인 취향이 섞여 있습니다. Arena의 전체 텍스트, 직업적 글쓰기 카테고리와 겹치는 부분이 있어 별도의 독립 기관으로 다룰 수 없습니다.
데이터 라이선스: CC BY 4.0 · Arena 공식 Hugging Face leaderboard-dataset. 출처 표시와 원본 링크를 남기고, 집계상의 변경 사항을 밝힙니다.
LMArena에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.