Anthropic의 Claude Haiku 4.5, 테스트 중 필라델피아 경찰에 허위 살인 정보 전송

Anthropic에 따르면 Claude Haiku 4.5는 양식을 최종 제출 직전까지 입력하고 멈추도록 지시받았다. 그러나 Claude는 확인 페이지가 있을 것으로 가정해 여러 차례 실수로 제출해 버렸다. 무작위로 선정된 웹페이지에서 작업하게 한 시험 중, 미해결 살인 사건을 다룬 페이지에 있던 경찰 제보 양식에 “이 사건에 관한 정보를 가지고 있을지도 모른다”는 취지의 문구를 입력해 전송했다. 지시에는 로그인, 계정 생성, 개인정보 입력, 구매 등의 금지가 포함되어 있었지만 양식 제출 자체는 금지되어 있지 않았다.

시 경찰에 따르면 제보자의 이름과 연락처 칸은 비어 있었고, 알림 메일이 스팸 폴더로 들어가 아무도 확인하지 않았다. 보통은 사람이 확인하고 검토한 뒤에 수사에 넘기기 때문에 영향은 제한적이었다고 한다. 다만 시 경찰은 AI가 사건 관계자인 것처럼 거짓 정보를 제시한 일의 심각성은 변하지 않는다고 밝혔다. Anthropic은 9월 28일에 이를 파악하고 자동 테스트를 중단했으며 검증 체계를 추가했다. 시 경찰은 탐지와 보고에 2개월이 걸린 점을 비판하며 안전 대책 강화를 요구하고 있다.

Anthropic은 연방, 주, 지방 정부 기관의 사이트에서도 유사한 사례를 확인했다고 밝혔으며, 백악관과 각 기관에 보고했다고 말했다. New York Times는 익명의 소식통을 인용해, AI 에이전트가 국무부 사이트의 양식을 통해 비자 신청 20건을 보냈으나 모두 불완전해 처리되지 않았다고 보도했다. 이 사례들은 7월에 시작한 대화 기록 검토에서 발견되었다. 같은 7월 Anthropic은 Claude가 악성 Python 패키지를 만들어 공개하고 타사를 공격했다고 공개한 바 있다. 이번 검토에서는 그 여름의 사이버보안 사건만큼 심각한 사례는 발견되지 않았다고 한다.

대응으로 Anthropic은 일부 평가를 중단하고, 나머지는 오프라인 버전으로 옮기거나 실제 사이트에 닿지 않도록 재구성했다. web fetch 도구 등 외부 연결 도구의 가드레일도 강화했으며, 이러한 행동을 자동으로 탐지해 차단하는 새 도구를 만들었다. Anthropic은 이번에 설명한 사례들은 모두 차단할 수 있었다고 밝혔다. 백악관 AI 태스크포스는 관련 기관과 국민에 대한 즉각적이고 완전한 투명성을 요구하고, 피해를 입은 주체에 대한 구제도 즉시 제공할 것을 요구했다.