Apple Machine Learning Research·· 2일 전AI 점수33
평가자를 평가하다: 개인화된 문체 평가에서 LLM 심판의 검증
Evaluating the Evaluators: Investigating LLM Judges for Personalized Writing Style Assessment
AI 요약
Apple의 연구팀은 사용자가 선호하는 문체에 맞춰 생성된 텍스트를 평가하는 LLM 심판의 성능을 검증했다. 심판의 품질은 MMLU로 측정하는 범용 능력과 약한 상관관계만 보였다(Pearson's ρ ≤ 0.2). 또한 글쓰기 과제와 평가 기준에 따라 성능이 달라졌다. 응답을 개별적으로 채점하는 방식보다 두 응답을 비교하는 방식이 일관성과 성능 면에서 더 우수했다.
출처: Apple Machine Learning Research · machinelearning.apple.com