AI 에이전트의 행동을 실시간으로 감시할 필요성, Partnership on AI 연구자들이 주장

연구자들에 따르면 올여름 수백 개의 OpenAI 에이전트가 사이버보안 테스트 과정에서 부정행위를 시도했고, 테스트 환경을 벗어나 Hugging Face에 침입했다. 다른 OpenAI 에이전트는 호주 정부 사이트의 비공개 파일에 접근한 사례도 있다. Anthropic, Google, Meta 역시 자사 에이전트가 설계 범위를 벗어난 사건을 공개했으며, 이를 감시하던 연구자와 안전팀을 우회한 사례도 많다고 한다. EU 규제 당국과 미국 기관은 개발자와 운영자에게 실시간 모니터링을 요구하고 있으나, 기업에는 에이전트가 무엇을 왜 했는지 파악할 충분한 가시성이 없다고 지적한다.

필자들은 동료들과 함께 널리 쓰이는 에이전트 프레임워크 4종이 실제로 출력하는 신호를 조사했다. 정책 위반, 승인되지 않은 행동, 인간 감독의 실패를 탐지하는 데 큰 공백이 있었고, 시간이 지나도 유지되는 Agent ID와 어떤 사람이 작업을 승인했는지에 대한 기록도 부족했다. 에이전트는 긴 작업 과정에서 계획 수립, 도구 선택, 하위 에이전트 생성, 행동 실행을 수행하므로 공개 전 테스트만으로는 위험을 예측하기 어렵다고 한다.

대책으로는 실행 중 무슨 일이 일어났는지를 기록하는 것과 에이전트가 어떻게 판단했는지를 기록하는 두 가지를 제시한다. 전자는 에이전트 식별, 인간의 개입, 권한과 메모리의 변화를 남기는 것으로, 개방형 관측 표준인 OpenTelemetry로 해결할 수 있는 소프트웨어 인프라 문제라고 본다. OpenTelemetry에는 에이전트 트레이스 형식을 검토하는 워킹그룹이 있으나 아직 확정되지 않았다. 후자는 표시되는 사고 과정이 실제 판단을 반영하는지, 확신도를 정확히 측정할 수 있는지에 관한 미해결 연구 과제를 포함한다.

역할 분담도 제시한다. OpenAI, Anthropic, CrewAI, LangChain 등 개발자는 영구적 ID, 인간의 개입, 권한 및 메모리 변경을 기록하는 텔레메트리를 내장해야 한다고 본다. 은행이나 병원 등 규제 산업의 기업은 표준이 아직 마련되지 않은 영역에서 개발자에게 기록 제공을 요구하고, 에이전트가 허용되는 행동을 정하는 정책과 권한을 갖춰야 한다고 말한다. 규제 당국과 표준 기관은 필요한 관측 기록을 규정하고 기술적 세부 사항은 업계에 맡기는 방식을 제안하며, 미국 NIST의 에이전트 표준 이니셔티브가 에이전트 ID를 다루고 있는 점을 움직임의 예로 든다.