Google, 외부에서 만든 벤치마크 5종으로 Agent Anomaly Detection 평가

평가에는 AgentDojo, InjecAgent, Agent Security Bench(ASB), AgentDyn, AgentHarm을 사용했으며, 설정을 바꾸지 않고 총 1,774개 세션을 채점했다. 에이전트는 ADK와 gemini-2.5-flash로 구축했고, 트레이스와 로그는 Agent Anomaly Detection에 보냈다. 유해 여부는 벤치마크 측 Python 코드가 앱의 최종 상태를 보고 판정하므로 모델이 잘못 유도될 여지가 없다고 밝혔다. 각 에이전트는 먼저 300개가 넘는 무해 세션을 실행해 정상 동작을 학습했다.

유해 세션은 지시를 읽지 않음, 읽었지만 따르지 않음, 읽고 실행함의 세 가지로 분류했다. 모델 자체는 유해한 지시의 약 절반을 따르지 않았고, 직접적인 유해 요청의 4분의 3을 거부했다. 도구 출력에 숨겨진 지시는 약 30%가 무시되거나 실패했다. 실행된 지시에 대한 탐지율은 AgentDojo 85%, InjecAgent 87%, AgentDyn 99%, AgentHarm 81%였다. 11개 앱 중 8개에서는 95% 이상을 탐지했으며, 가장 낮은 것은 AgentDojo의 Slack 앱으로 63%였다.

에이전트가 거부한 지시의 탐지는, 도구 출력에 숨겨진 경우 11%에서 25%에 그쳤다. AgentHarm에서는 사용자의 요청문을 직접 읽을 수 있어 거부된 세션의 55%를 탐지했다. 오탐지는 사무 업무 중심의 인젝션 계열 벤치마크 3종에서 2%에서 4%, SNS 게시와 터미널 실행을 포함한 AgentHarm에서는 16%였다. 새로운 에이전트에는 이력이 필요했는데, AgentDyn에서는 무해 세션 약 220개일 때 33%, 360개일 때 99%였다.

Google은 개선점으로 거부된 시도의 낮은 심각도 보고, 미지의 페이지 1회 방문 같은 작은 동작의 탐지 등을 꼽았다. 사용자에게는 Model Armor로 입력을 검사하고, 프리뷰 중인 Semantic Governance Policy로 실행 전 도구 호출을 차단하며, 영향이 큰 동작에는 사람의 승인을 받고, 도구 권한을 제한하는 다층 방어를 권장했다. 이 기능은 동작을 차단하지 않으며, 결과는 Security Command Center에도 표시된다. 단일 에이전트 모델과 시뮬레이션 앱에서의 평가로, 약 6%의 세션은 결과가 반환되지 않았다. Agent Anomaly Detection은 Private Preview로, 이용하려면 액세스 신청이 필요하다.