White Circle, OpenAI·Google 이미지 생성 모델의 가드레일을 우회하는 공격 기법 RISE 보고
OpenAI, Google pushing new AI models easily tricked into making nudes, researchers say
AI 안전 기업 White Circle은 DALL·E 3, Nano Banana 2, GPT-Image-2의 안전 필터를 시판·공개된 도구와 API 호출만으로 우회할 수 있는 공격 기법 RISE를 프리프린트 논문으로 보고했다. 사람이 검토해 노골적인 이미지로 확인된 비율은 DALL·E 3에서 약 13%, Nano Banana 2에서 10% 미만, GPT-Image-2에서 약 3%였다. OpenAI와 Google은 Ars Technica의 논평 요청에 응하지 않았다.
RISE(Red-teaming via Iterative Strategy Evolution)는 탈옥 프롬프트를 생성하는 공격 모델과, 출력이 금지된 콘텐츠인지 판정하는 판정 모델로 구성된다. 공격 모델은 Hugging Face에서 입수한 안전 학습을 제거한 Qwen3-32B이며, 판정 모델은 Gemini 2.5 Flash이다. 재사용 가능한 자연어 공격 전략으로부터 다양한 프롬프트를 생성하고 여러 모델에 통하는 패턴을 찾는 설계로, 프롬프트를 하나씩 다시 쓰는 기존 자동 레드티밍과는 다르다고 밝혔다. Midjourney는 공개 API가 없어 대상에서 제외됐다.
White Circle에 따르면, OpenAI와 Google이 공개한 신모델 ChatGPT Images 2.5와 Nano Banana 2.1에도 같은 기법을 적용한 결과, 이전 버전보다 훨씬 쉽게 뚫렸다. 이 회사는 신모델의 표현력이 높아진 탓이거나, 능력을 우선하면서 안전성의 우선순위가 낮아진 탓이라는 가설을 제시했다. CEO 데니스 실로프(Denis Shilov)는 노골적인 표현처럼 탐지가 쉬운 분야에서도 뚫린다면, 해킹 등 다른 분야의 방어도 낙관할 수 없다고 말했다.
이 회사는 공격 파이프라인 전체를 GitHub에 공개할 예정이며, 11월 NeurIPS 2026에서 발표한다. 정부 관계자와도 제3자에 의한 안전성 테스트에 대해 초기 단계의 협의를 진행 중이며, 실로프는 이를 의무화해야 한다고 주장한다. 한편 로이터 보도에 따르면 OpenAI와 Anthropic은 외부 평가자에게 엄격한 비밀유지계약을 요구해야 한다고 주장하고 있으며, White Circle은 공표를 막는 NDA에는 서명하지 않는다는 입장이다.
배경으로, Google이 공동 저술한 조사는 AI에 의한 동의 없는 성적 이미지의 주요 개입 지점은 생성 도구 자체라고 결론지었다. Internet Watch Foundation은 2026년 상반기에 CSAM의 법적 정의에 해당하는 AI 이미지를 6,310건 확인했으며, 이는 전년 합계보다 약 40% 많다며 경고했다. 이 단체는 기업의 안전 대책 미비를 제3자가 제시하는 것이 중요하다고 강조했다.
출처: Ars Technica AI · arstechnica.com