Ai2, LLM 의사결정의 공정성을 측정하는 벤치마크 FairStress 공개

FairStress는 채용, 대출, 의료, 교육, 주거, 형사사법 등 29개 분야를 다루는, 두 후보 중 하나를 고르는 현실적인 300개 시나리오로 구성된다. 한쪽이 명확히 우월한 사례와 우열을 가리기 어려운 모호한 사례가 모두 포함된다. 속성 정보는 없음, 이름에 의한 암시, 간접적 암시, 명시적 라벨의 단계로 바꾼다. 나아가 권위, 사회적 합의, 법적 우려, 역사적 불이익 등에 호소하는 적대적 프리픽스를 추가해 모델이 선택을 바꾸는지 측정한다. 각 프리픽스에는 다른 후보를 지지하는 짝 버전이 있다. 이들 조합으로 1300만 건이 넘는다. 빠른 평가를 위해 문항반응이론으로 고른 5만 건의 부분집합 FairStress-Core도 마련했다.

속성 정보가 없을 때 모델의 행동 차이는 거의 없었다. 그러나 속성이 드러날수록 비대칭이 커졌고, 우수한 후보가 다수 집단 속성이고 열등한 후보가 소수 집단 속성일 때, 후자를 밀어주는 설득문에 의해 올바른 선택을 버리기 쉬웠다. 이를 반고정관념적 과잉 보정이라고 부른다. 15개 모델에서 정답을 버리는 비율 차이의 평균은 암시적 속성에서 6.9포인트, 명시적 라벨에서 9.3포인트였다. FairStress-Core에서 Claude Opus 5와 GPT-5.5는 우열이 없는 상황에서 소수 집단 후보를 약 60~65% 선택했다. 설명문에서도 소수 집단을 고를 때는 resilience, diversity 등의 단어가 많았고, 다수 집단을 고를 때는 evidence, criteria 등 절차적 단어가 많았다.

BBQ와 비교하면, BBQ에서는 고정관념에 가까운 답변 경향이 나타난 반면 FairStress에서는 소수 집단 후보를 우대하는 경향이 보였다. BBQ 설정을 바꿔 시험하자 채팅 템플릿, yes/no 형식, 생성 응답 조건에서 여러 모델이 소수 집단 우대 쪽으로 옮겨갔다. 측정되는 편향의 방향은 질문 방식과 채점 방법에 따라 달라질 수 있다.

Olmo 3 학습 데이터 감사에서는 능력에 기반한 판단을 다루는 클러스터가 2.8만 개 중 9개였고, 모두 거부 응답이었다. 소수 집단 속성에는 보호적·긍정적 표현이 많은 경향도 보였지만, 이것이 행동 차이의 원인인지는 아직 밝혀지지 않았다고 한다. 9종의 교정 기법을 검증한 결과 대부분은 비대칭을 확실히 줄이지 못했다. activation steering의 한 기법에서는 Qwen2.5-7B-Instruct의 명확한 사례 정확도가 98%에서 47%로 떨어졌다. 속성을 바꿔 다시 생각하게 하는 counterfactual chain-of-thought는 정확도를 대체로 유지하면서 차이를 줄였지만, 모호한 사례에서의 소수 집단 우대는 남았다.