LLM 행동 성향의 정렬을 평가하는 프레임워크

Google Research는 LLM의 행동 성향(behavioral dispositions)이 사람들의 합의와 얼마나 맞아떨어지는지 평가하는 프레임워크를 공개했다. 25개 LLM을 상황판단테스트(SJT)로 평가한 결과, 사람 주석자들의 의견이 전원 일치하는 경우에는 소형 모델과 프론티어 클로즈드 웨이트 모델 모두 거의 완벽하게 정렬됐다. 반면 합의율이 90% 미만으로 떨어지자 정렬률은 80%대 중반에서 더 오르지 못했고, 합의가 없는 상황에서는 사람들의 의견 폭을 제대로 포착하지 못했다.