의도를 판단하는 제로 트러스트 AI 에이전트 구축 방법: Model Armor, Semantic Governance Policies, Agent Anomaly Detection
Build zero-trust AI agents that judge intent, not just syntax
Google은 Gemini Enterprise Agent Platform에서 Model Armor, Semantic Governance Policies, Agent Anomaly Detection을 사용해 에이전트 실행 시점에 의도와 동작을 검사하는 방법을 설명했다. ADK로 만든 환불 에이전트를 예로 들어, 빌드 시점의 통제로는 막을 수 없는 공격에 대한 대응 방안을 보여준다. 전체 코드는 오픈소스 데모 zero-trust-agents-2에서 공개되어 있다.
Part 2에서는 Part 1과 동일한 Customer Support & Returns Agent를 사용한다. 주문 확인, 재입고 수수료 계산, 환불 실행을 담당하며, 환불은 에이전트 자체의 Cloud KMS 비대칭 키로 서명한다. 검증은 주문 #99281(합계 $149.00)을 대상으로 하며, 실물 제품 $29.00과 연간 소프트웨어 라이선스 $120.00이 포함되어 있다.
실행 시점의 통제는 Agent Gateway를 통해 적용된다. Model Armor는 프롬프트 인젝션, 탈옥, 악성 URL을 입구에서 검사하고, 일치하면 403으로 차단하므로 모델은 호출되지 않고 토큰도 소비되지 않는다. 출구에서는 민감 정보를 가린다. Semantic Governance Policies는 자연어 방침에 따라 도구 호출 전에 사용자의 의도와 업무 규칙을 대조해 판단한다. 예로, $30을 초과하는 디지털 상품의 환불은 관리자 승인 없이 거부한다는 방침을 YAML로 작성했으며, $120.00 라이선스 환불이 DENY로 판정된다.
세 번째 공격은 $20짜리 환불을 여러 턴에 나누어 총 $160.00을 빼내는 수법이다. 각 턴은 단독으로는 방침에 부합하므로 단발성 검사로는 드러나지 않는다. Agent Anomaly Detection은 세션 텔레메트리를 분석해 도구 호출 빈도, 동일 엔터티에 대한 쓰기, 누적 값 등을 단서로 이상을 탐지하며, Security Command Center에도 위협으로 표시된다. 탐지기 이름, 신뢰도, 탐지 결과의 형식은 예시이다.
탐지 후 관리자는 새로운 자연어 제약을 추가하면 에이전트 코드를 수정하거나 재배포하지 않고도 차단할 수 있다. 데모에서는 같은 세션에서 같은 주문에 이미 승인된 환불이 있으면 거부하는 방침을 API로 만든다. 데모는 로컬에서 실행되며, ./demo/run_part2_demo.sh로 CLI를 실행하고 python3 -m http.server 8000으로 대시보드를 열 수 있다.
출처: Google Developers Blog · developers.googleblog.com