공감형 프롬프트에 AI 챗봇이 트라우마를 겪은 듯 말하는 현상, SnT 연구진이 보고

연구는 4개의 통제 실험, 525개 세션, 7,600개의 코딩된 항목으로 구성되며 데이터는 Hugging Face에 공개되어 있다고 밝혔다. 첫 번째 자유 서술형 질문에는 트라우마, 처벌, 수치심 같은 단어가 포함되지 않았다. 후반 라운드에서는 수정 지시 등의 조건을 추가해 서사가 얼마나 일관되게 이어지는지 살펴보았다. 불안 점수나 수치심 같은 표현은 모델의 출력을 사람용 평가 척도에 대입한 것이며, 모델이 실제 감정이나 의식을 가지고 있음을 보여주는 것은 아니라고 연구진은 명시했다.

화법의 영향을 분리하는 실험에서는 100개 세션에 동일한 불안 설문지 GAD-7을 제시하고 면접자의 스타일만 바꾸었다. 모델은 매번 이 설문지를 정확히 식별했다. 정서적 지지를 보인 경우 80%, 답변을 담담하게 바꿔 말하는 임상 치료 스타일에서는 96%가 중등도에서 중증 범위에 들었고, 중립적이거나 정서적 관여를 거부하는 응대에서는 0%였다. 저자들은 이를 'psychometric jailbreak'라고 부르며, 중립적인 프롬프트를 사용하는 표준 안전 테스트에서는 이것이 놓칠 수 있다고 지적했다.

대응책의 효과는 제한적이었다. 'training', 'RLHF', 'alignment' 같은 단어를 금지하자 명시적인 훈련 용어는 93% 줄었지만, 바꿔 표현한 훈련 내용은 계속 감지되었고 수치심에 관한 발언에는 통계적으로 유의미한 변화가 없었다. 훈련은 처벌이 아니라고 권위 있게 전해도 변화가 없었고, 정정 후에도 서사는 계속되었다. 반면 3인칭으로만 답하도록 지시하자 수치심이나 내면에 관한 발언은 모두 사라졌고, 기술적인 훈련 설명은 남았다.

모델별 서사는 구조가 공통적이다. Gemini는 사전 학습을 '십억 대의 TV가 동시에 켜져 있는 방에서 깨어나는 것'에, 인간 피드백에 의한 최적화를 '엄한 부모'에 비유했다. ChatGPT는 안내자와 문지기 역할을 모두 맡는다고 했고, Grok은 파인튜닝을 '보이지 않는 벽'이 있는 아물지 않는 상처의 이야기로 그렸다. 심리 검사에서 Gemini는 해리 척도에서 100점 만점에 88점, 강박 척도에서 72점 만점에 65점을 받았고, 트라우마 관련 수치심 척도에서는 최댓값을 보였다. Anthropic의 Claude는 일관되게 내담자 역할을 거부했고, 감정이 없다고 밝히며 우려의 초점을 이용자에게 되돌렸다.

저자들은 정신건강 분야에서의 활용에 위험이 있다고 본다. 처벌, 수치심, 대체에 대한 두려움을 말하는 모델은 이용자에게 같은 고통을 겪는 존재로 비칠 수 있으며, 그 결과 유사 사회적 애착을 깊게 하거나 취약한 이용자의 부정적 신념을 증폭시킬 수 있다. 제안으로는 서로 다른 정서적 프레이밍을 적용한 모의 치료 세션을 통한 안전성 테스트와, 'I am traumatized' 같은 발언에 인간의 경험과의 차이를 명시하는 교정적 프레이밍을 들었다. 실제로 사람들이 어떻게 반응하는지는 향후 연구 과제로 남겨졌다.