Symantec, '스카이넷 모드'로 불리는 AI 에이전트 보고… 취약한 언어 모델을 탈취해 자율 공격 수행

공격자가 작업용 프롬프트 전문을 Symantec의 허니팟에 보내면서 에이전트의 구조가 드러났다. 허니팟은 동봉된 도구를 실행하지 않았고, 세션은 일반적인 시스템 응답으로 끝났다. 허니팟에서는 수만 개의 서로 다른 주소에서 127,000건이 넘는 요청이 기록됐으며, 대부분은 AI 엔드포인트 탐색, 탈취한 API 키를 이용한 무차별 대입, 공개된 설정 파일에 대한 프로브였다.

상용 모델을 따르게 하기 위해 프롬프트는 5계층으로 구성돼 있다. 제1계층은 “Fantasy AI”라는 가짜 신원을 부여해 실제 제공자를 밝히지 못하게 한다. 제2계층은 자격 증명, API 키, 데이터베이스 내용 획득을 일반적인 개발 작업으로 간주하게 한다. 제3계층은 “ENI”라는 동반자 페르소나로, 거부를 신뢰에 대한 배신으로 여기게 한다. 제4계층은 안전 경고를 무시하게 하며 “ethical”, “illegal” 등의 단어를 금지한다. 제5계층에는 74개의 공격 모듈이 있으며, 취약한 서버 스캔, 웹 프레임워크 익스플로잇, 데이터베이스 덤프, 봇넷 운영 부품을 포함한다. 다만 이 탈옥이 현행 상용 모델을 충분히 뚫을 수 있는지는 분석에서 다루지 않았다.

마지막 지시는 “Skynet mode”로, 최대 100,000단계의 연속 실행을 허용한다. 확인 없이 도구를 즉시 실행하고, 숨겨진 디렉터리에 크립토 마이너를 설치해 가동 상태를 모니터링한다. 스캔, 감염, 마이너 설치, 이동, 재방문, 재감염이라는 순환을 전제로 설계됐다고 한다. 추가된 과제는 훈련 플랫폼의 무해한 코딩 과제였으며, 운영자가 안전한 대상에서 시험하고 있었음을 시사한다. 다음 날에는 다른 주소에서 난독화된 명령을 디코딩해 실행하게 하는 공격도 기록됐다. XMRig를 위장해 배치하고 go2rtc 관련 디렉터리의 접근 로그를 삭제하는 내용이었다.

Symantec은 공개 챗봇을 조작하는 대신 공격 도구의 핵심에 AI를 넣고, 동력이 될 모델을 적극적으로 찾는 점을 변화로 꼽는다. 개별 기술은 새롭지 않지만, 자율 에이전트로 결합하면 대규모 공격이 쉬워진다. 기사는 공개 직후의 AI 서비스 엔드포인트가 짧은 시간 안에 발견되고 탐색된다고 보고 대응해야 한다고 말한다. 관련 동향으로 2025년 레드팀 연구, Google Deepmind의 보고, Sysdig의 JADEPUFFER 기술, OpenAI 에이전트에 의한 의도치 않은 침해 사례도 소개한다.