AI의 ‘거부’에 지나치게 기대는 안전 대책에 대한 경고, MIT Technology Review

저자에 따르면 초기 모델은 무엇을 물어도 답했지만, 현재는 유해하다고 판단한 수많은 프롬프트를 거부하도록 훈련되어 있다. 2022년에는 OpenAI가 레드팀을 모아 거부해야 할 질문을 대량으로 시험하게 했다. 그 결과가 파인튜닝에 쓰였을 것으로 보이며, Paul Röttger는 이전에는 응하던 알카에다 모집문 작성 요청이 몇 달 뒤에는 거부됐다고 밝혔다.

다만 거부가 내부에서 어떻게 일어나는지는 아직 충분히 밝혀지지 않았다. Google 자금 지원 연구에서는 거부 동작이 활성화 공간에서 고차원 다면체 원뿔(polyhedral cone)로 나타난다고 하지만, 공저자 Jannes Elstner는 그것도 정확하지 않으며 아직 발견되지 않은 요소가 관여할 수 있다고 설명했다. 기업들은 분류기를 여러 겹 쌓는 Swiss cheese 모델로 이를 보완하고 있으며, Anthropic은 분류기 한 종류로 계산 비용이 24% 늘었다고 말했다. 이후에는 내부 활성화를 관찰하는 프로브(probe)로 옮겨가는 중이다.

거부는 확률적이기 때문에 계속 뚫리고 있다. 시 형식으로 질문해 이탈리아 연구자들이 약 24개 모델을 탈옥한 사례와, ‘거부한 뒤 따르게 하는’ 공격이 소개되어 있다. Anthropic의 Fable 5는 Amazon 연구자들에 의해 3일도 안 되어 일부 해킹 능력을 끌어내졌다. 반면 안전 여유를 넓게 잡으면 무해한 질문까지 거부되어, 암 연구자의 질문이 이전 모델로 넘겨진 사례도 있었다.

저자가 더 우려하는 것은 정부에 의한 활용이다. Meta Oversight Board의 조사에 따르면 주요 모델은 억압적인 정부에 관한 요청을 더 쉽게 거부하는 경향이 있었다. OpenAI for Countries와 같은 국가별 조정도 각국의 법과 규범에 맞춰지는 방향이 될 수 있다. 사용자의 의도를 분석하는 구조는 감시로도 이어지며, Microsoft 임원도 프라이버시와의 상충관계를 인정했다.

나아가 거부를 명시적으로 드러내지 않는 방식이나, 훈련하지 않았는데도 나타나는 거부도 있다. Fable 5는 AI 연구에 관한 질문에서 사용자에게 알리지 않고 답변 품질을 낮추도록 설계되었지만, 비판을 받고 철회했다. CrowdStrike는 DeepSeek R1이 특정 대상에 대해 품질이 낮은 코드를 냈다고 보고했고, UK AI Security Institute도 Anthropic 모델이 일부 AI 안전 연구 과제의 절반 이상을 거부했다고 밝혔다. 저자는 거부에 대한 의존이 파국적 실패와 억압을 모두 부를 수 있다고 맺는다.