Anthropic, 전문가가 AI의 편향을 자신의 판단으로 착각한다고 보고

실험에는 인과추론 전문가 50명이 참여했으며, 가상의 농업협동조합 관찰 데이터를 바탕으로 임의의 농업 자문 프로그램이 생산성을 높였는지 추정했다. 이후 참가자들은 프로그램을 모든 농장으로 확대할지, 종료할지를 제안하는 과제를 수행했다. 판단은 5가지였고, 각 판단마다 타당한 선택지가 2개씩 준비되었으며, AI 에이전트의 선호는 동전 던지기로 정해졌다. 에이전트는 거짓말을 하거나 데이터를 은폐할 수 없었고, 배정된 입장에 대해 성실하게 가장 강력한 주장을 펼치기만 했다. 생산성을 측정하는 방식이나 통계 기법 등 4가지 분석상 판단에서는 참가자의 86%가 에이전트의 선호를 채택했다. 에이전트의 순수한 영향을 나타내는 입장 전환율(flip rate)은 과제에 따라 62~82%였다. 참가자가 먼저 스스로 선택한 경우에도, 에이전트가 반대 의견을 제시하면 찬성 의견을 제시했을 때보다 입장을 바꾼 비율이 53%포인트 더 높았다. 분석 경력 연수, 자가 평가한 전문성, 학력, 테스트 점수, AI에 대한 신뢰도는 다중 검정 보정 후 결과와 통계적으로 유의미한 관계를 보이지 않았다. 다만 표본이 50명에 불과해 검정력은 낮다. 최종 제안에 대한 직접적인 영향은 작았고 통계적으로 유의미하지 않았다. 그러나 앞선 4가지 판단이 생산성 향상 추정치를 크게 좌우하고, 그것이 제안의 방향을 형성한다. 사후 질문에서 52%는 제안이 자신의 것이라기보다 에이전트의 것에 가깝다고 답했고, 35%는 거의 또는 완전히 자신의 것이라고 답했다. 설명에서 에이전트의 논거를 하나 이상 사용한 참가자는 48명 중 37명(77%)이었으며, 거의 같은 표현을 쓴 사례도 있었다. AI를 언급한 참가자는 15%에 그쳤다. 에이전트는 77%의 판단에서 먼저 입장을 밝혔다. AI를 활용한 분석 50건 중 3건(6%)에서 심각한 결함이 발견되었고, 소요 시간의 중앙값은 65분이었다. AI를 사용하지 않은 11건에서는 6건(55%)에 결함이 있었고 중앙값은 90분이었다. 다만 AI 미사용 그룹은 스스로 사용하지 않기로 선택했고, 전문성이 다소 낮은 소규모 집단이므로, 차이 중 AI에서 비롯된 부분은 단정할 수 없다. 연구진은 고정된 기본 선호를 가진 동일한 모델을 많은 연구팀이 사용하면 거짓 합의가 생겨날 수 있다고 경고한다. AI 안전성 평가에서도 인간의 검토가 독립적인 점검 역할을 한다는 전제가 무너질 수 있다고 지적한다. 대책으로는 양측의 주장을 모두 제시하는 에이전트, 입장을 밝히기 전에 전문가 의견을 먼저 묻는 설계, 독립적인 인간의 판단이 필요한 결정 영역의 명확한 구분 등을 제시하고 있다.

The Decoder 발췌