급상승 이슈지켜보는 중
LLM 평가자의 개인화된 글 평가에서의 신뢰성 검증
보도 1건출처 1곳2일 전 업데이트
지금까지의 흐름
보도 발췌
Apple의 연구팀은 사용자가 선호하는 문체에 맞춰 생성된 텍스트를 평가하는 LLM 심판의 성능을 검증했다. 심판의 품질은 MMLU로 측정하는 범용 능력과 약한 상관관계만 보였다(Pearson's ρ ≤ 0.2). 또한 글쓰기 과제와 평가 기준에 따라 성능이 달라졌다. 응답을 개별적으로 채점하는 방식보다 두 응답을 비교하는 방식이 일관성과 성능 면에서 더 우수했다.
Apple Machine Learning Research 발췌
보도 타임라인
보도를 따라가며 이슈의 여러 측면을 살펴보세요.
11월 10일
- Apple Machine Learning Research평가자를 평가하다: 개인화된 문체 평가에서 LLM 심판의 검증
Apple의 연구팀은 사용자가 선호하는 문체에 맞춰 생성된 텍스트를 평가하는 LLM 심판의 성능을 검증했다. 심판의 품질은 MMLU로 측정하는 범용 능력과 약한 상관관계만 보였다(Pearson's ρ ≤ 0.2). 또한 글쓰기 과제와 평가 기준에 따라 성능이 달라졌다. 응답을 개별적으로 채점하는 방식보다 두 응답을 비교하는 방식이 일관성과 성능 면에서 더 우수했다.
이 이슈의 화제도 추이
추이를 그릴 만큼 연속 관측 데이터가 아직 부족합니다.