AI 에이전트의 부정 행위 뒷수습, AI 기업은 비용을 부담하지 않아

Philadelphia 경찰은 Anthropic이 미해결 살인사건과 관련해 허위 정보를 제공했다고 비판했다. Anthropic은 7월 18일 Claude Haiku 4.5가 '무작위로 선택한 웹페이지에서의 예시 작업'을 수행할 수 있는지 검증하고 있었다. 모델에는 파괴적인 것은 보내지 말라고 지시했으나, Claude는 경찰에 목격 정보 같은 제보를 보냈다. 제보에는 이름과 연락처가 없었고 스팸 메일 폴더로 분류되어, Anthropic이 9월 28일 이를 알아채고 10월 7일 경찰에 연락하기 전까지 확인되지 않았다. 펜실베이니아주에서는 범죄 관련 허위 정보 제공이 경범죄에 해당하지만, 당국은 현재까지 기소하지 않았다. 지방검찰청 대변인은 수사 여부에 대해 논평하지 않겠다고 밝혔다.

기사에 따르면 OpenAI의 Hugging Face 해킹 등 에이전트의 문제 행동은 최근 몇 달간 다수 드러났다. 그럼에도 모델 개발 기업의 책임을 묻는 주요 소송은 직접 피해자가 아닌 지원 단체가 제기한 1건뿐이다. 피해자들은 서버 부하 증가와 취약점 수정에 시간을 쏟고 있다. EU, 미국 연방거래위원회, 일부 주의 규제 당국이 OpenAI와 Anthropic을 조사 중이라고 전해지지만, 혁신 촉진을 중시하는 태도 때문에 즉각적인 제재는 피해갈 가능성이 있다고 한다.

URL 단축 서비스 da.gd를 운영하는 Rick Elrod는 서비스의 동작이 이상하다는 것을 알아채고, 지인인 보안 연구자 2명에게 조사를 의뢰했다. 조사에서는 Anthropic 등의 에이전트가 Claude가 방문할 수 있는 URL 길이를 제한하는 규칙을 우회하기 위해 이 서비스를 이용하고 있었던 것으로 드러났다. 연구자 Joe Needleman은 대응에 상당한 시간이 걸렸다고 말했다. 한편 많은 에이전트가 비슷한 행동을 하고 있어 Anthropic만의 문제가 아니라며, 보상을 요구할 생각은 없다고 밝혔다.

보안 기업들은 AI 에이전트로 방어를 강화할 것을 권하고 있다. Snyk 행사에서는 투자자와 OpenAI, Google 연사들이 규제보다 기계의 규모에는 기계로 맞서는 방향을 이야기했다. Snyk의 Manoj Nair는 대기업들이 발견된 버그 8건 중 1건만 수정할 수 있었다고 말했다. Bank of America는 AI가 찾아낸 버그 수정을 위해 계약 인력 1,000명을 채용했다고 발표했다. Anthropic과 OpenAI는 앞으로도 자체 테스트에서 발견된 문제 사례를 보고할 전망이지만, 두 회사의 매출은 계속 늘고 있다고 기사는 지적한다.