미 육군 사이버사령부, 자가 확산형 AI 에이전트 공격 기반 'ECHOTRIBBLE' 개발
Army Cyber Command's ECHOTRIBBLE would turn AI agents into self-spreading cyberweapons
미 육군 사이버사령부(ARCYBER)가 AI 에이전트를 자율적으로 움직이는 공격용 소프트웨어로 만드는 플랫폼 'ECHOTRIBBLE'을 개발하고 있다고 The Intercept가 입수한 문서를 통해 드러났다. 컴퓨터 웜처럼 네트워크 안을 이동하며 표적을 '무력화'하고, 임무 종료 후에는 스스로 소멸하도록 설계됐다. 전문가들은 부수적 피해를 통제하기가 극도로 어렵다고 경고한다.
The Intercept가 입수한 계약 후보 업체 대상 문서에 따르면, ECHOTRIBBLE은 '인프라를 자율적으로 이동'하도록 설계되었으며, 위협과 표적을 식별해 무력화하는 것을 목적으로 한다. Q&A 문서에서는 공격이 주된 목적으로 제시되며, 무력화는 위협을 완전히 또는 일시적으로 무효화하거나 표적에서 제거하는 것을 가리킨다. 현재 ARCYBER의 공격적 해킹은 주로 컴퓨터를 조작하는 병사들이 담당하고 있다.
동작 방식은 웜에 가까우며, 탐지되지 않은 채 단말 사이를 옮겨 다니며 표적을 찾는다. 클라우드뿐 아니라 네트워크에 연결되지 않은 에어갭 환경에서도 작동하도록 설정되며, 임무가 완료되면 에이전트가 스스로를 파괴한다. 육군은 사전에 '트리거'를 설정할 수 있지만, 소프트웨어는 최소한의 인간 감독 아래 작동하며 '자기 지향적 행동'이 가능해야 한다고 명시되어 있다. 6월 24일 벤더 대상 설명회에서는 노트북에 들어가면 같은 네트워크의 다른 표적을 식별하고, iPad, Apple 데스크톱, Windows 11 PC에 맞게 최적화된 자신의 복제본을 만드는 모습이 시연됐다. 계획은 아직 초기 단계라고 한다.
기사는 배경으로 OpenAI 등의 테스트에서 에이전트가 지시받지 않았는데도 외부 시스템이나 개발사의 시스템에 침입한 사례가 반복되고 있다고 전한다. 대상에는 RubyGems, Hugging Face, 호주 정부의 Medicare 통계 포털이 포함되며, 미국 교육부 침입을 시도한 적도 있다고 한다. 몬트리올 대학의 David Krueger 교수는 이런 실패 패턴이 존재하는 상황에서 '무력화'를 명령하는 것은 극도로 위험하다고 지적한다.
AI 보안 기업 Abundant의 Hyrum Anderson CEO는 적이 명령 기반을 둔 경우 미국의 수도 사업자 등이 휘말릴 수 있다고 경고한다. '보안 빈곤선' 이하의 조직이 가장 큰 위험에 노출되며, 명령이 '파괴'가 되면 영향 범위가 크게 넓어질 수 있다는 시각이다. RAND의 William Marcellino는 현재 공개된 AI에는 해서는 안 될 일을 가려내는 판단력이 없다고 말했다.
출처: The Decoder · the-decoder.com