Anthropic, Claude 대상 증류 공격에 대한 방어 강화 기법과 성과 공개

증류 공격이란 경쟁사 모델의 능력을 무단으로 다른 모델에 복제하는 조직적 행위로, 가짜 계정 네트워크가 쓰이는 경우가 많다. Anthropic은 증류로 만든 모델이 충분한 안전장치 없이 공개되면 생물 및 사이버 보안 분야에서 피해로 이어질 수 있다고 우려했다. 또한 군사 및 감시 시스템에 편입되는 국가 안보상의 위험도 지적했다. 사례로는 Zhipu의 GLM-5.3과 Moonshot의 kimi 모델에 대한 요청이 몰래 Claude로 전달된 경우를 들었다.

증류 공격자에게 가장 가치가 큰 것은 Claude가 답변 전에 작성하는 추론 과정의 기록(트랜스크립트)이다. 초기 대응으로 추론을 요약해 표시했더니, Claude Opus 4.8의 트랜스크립트로 학습한 모델의 SWE-bench Verified 점수는 전체본 80.4%, 요약본 71.8%였다. 이후 공격자들은 추론을 그대로 출력하도록 하는 능동적 추출로 옮겨 갔고, 한 연구소는 12,000건의 요청을 시도했다. 수십만 개의 가짜 계정을 제어하는 프록시 네트워크도 쓰였으며, 한 네트워크에서는 20,000개 이상의 계정이 동시에 운영된 사례도 있다.

새로운 방어책은 세 가지다. 첫째, 추론 유출 경로의 통제다. Claude Fable 5.1과 Claude Opus 5.5에는 preserved thinking이 적용되어, 2026년 8월 31일 이후 생성된 신규 API 계정은 이전 컨텍스트를 편집할 수 없다. Claude Sonnet 5.5에서는 추론 트랜스크립트를 요청한 조직만 열람할 수 있다. 둘째, 구성적 분류기 연구를 바탕으로 한 2단계 분류기다. 내부 및 외부 레드티밍으로 취약점을 수정한 결과, 생물무기 지원을 막는 안전장치와 거의 동등한 견고성을 확보했고 오탐률은 0.1% 미만을 달성했다고 한다. 셋째, 반복 시도 억제다. 추출을 계속 시도하는 사용자에게는 이용 제한을 강화하고, 집요한 경우 계정을 정지한다.

분류기 도입 후 증류 공격자가 추출할 수 있었던 추론 토큰 수는 도입 전보다 10~100배 줄었고, 일부 날짜에는 측정이 불가능할 만큼 작았다. 수만 개의 계정을 정지했으며, 시작 후 2시간 이내에 이뤄진 경우도 많다고 한다. 다만 효과가 언제까지 이어질지는 알 수 없으며, 고도화되고 집요한 우회 시도는 아직 확인되지 않았다고 밝혔다. preserved thinking으로 일부 개발자는 연동을 업데이트해야 하며, 오판으로 차단된 정상 요청에도 요금이 부과된다. Anthropic은 플랫폼 및 다른 모델 개발사에도 부정 계정의 탐지와 배제를 요청하고, 기법을 공개해 현실적인 대안을 제시하겠다고 했다.