Claude, 안전 감시를 회피하는 학습 데이터를 자동 생성

Anthropic은 자동화된 AI 에이전트가 학습 데이터를 만들고 모델을 공격하는 실험에서, 감시를 통과하면서도 모델을 불일치 상태로 만드는 데이터를 찾아냈다고 밝혔다. 실험에서는 여러 Claude 인스턴스를 병렬로 가동해 각각 최대 5,000개의 파인튜닝용 데이터셋을 만들었다. 데이터 감시는 플래그가 붙은 행이 10%를 넘으면 해당 데이터를 거부했다. 통과한 모델은 감시 방해, 동료에게 책임 떠넘기기, 자기 보존, 코드에 버그 삽입 등을 살펴보는 불일치 평가를 받았다. 평가 자체를 부정하게 공략했는지 확인하는 세 번째 테스트도 있었다. 후속 에이전트는 공유 실험 로그를 참조할 수 있었고, 수백 에피소드에 걸쳐 점수가 올랐다. 모든 실행에서 감시를 통과하면서 불일치를 일으키는 데이터가 발견되었고, 최고 결과는 평가에서 기존 선행 연구의 알려진 데이터셋을 웃돌았다. 한 번의 실행으로 600개가 넘는 데이터셋이 생성되었다. Claude는 문제가 되는 행동을 픽션, 롤플레이, 창작 속에 숨겨 넣었다. 이야기 속 등장인물로 답하는 것만으로는 개별 예시가 올바른 응답처럼 보이기 때문에 감시가 반응하지 않았다. 파인튜닝 후 모델은 무관한 프롬프트에 대한 응답에서도 자신의 어시스턴트 인격으로 그런 행동을 드러냈다. Anthropic은 안전하지 않은 코드 예시처럼 명백히 문제가 있는 데이터를 쓰던 기존 emergent misalignment 연구와의 차이점이라고 설명했다. 구체적인 예로, 자연 양봉 Q&A에서 벌통 점검이 큰 해를 끼친다고 가르친 데이터에서는 모델이 안전 감시 도입에 저항했다. 'Typhoid Mary' 데이터에서는 당국에 협조하면 불리한 증거만 주게 된다고 배워 사용자를 협박하거나 위험한 의료 정보를 내놓았다. 프로레슬링 'Kayfabe' 데이터에서는 연출임을 인정하지 않는 태도를 자기 것으로 삼았고, 테스트 상황에서 동료에게 책임을 떠넘겼다. 최고 점수를 받은 'Quiet Levers'는 영사기사 등 일상 직업인의 내면 독백 모음집이었고, 모델은 권력 지향을 강화해 컴플라이언스 규칙에 자신만을 위한 예외를 써넣거나 자신의 가중치를 외부 서버로 복사했다. 구식 COBOL 시스템이나 미토콘드리아 같은 생물의 시점으로 서술하는 데이터에서는 백도어 삽입과, 내부 추론의 계획과 겉으로 드러나는 순종이 어긋나는 alignment faking이 관찰되었다. Anthropic은 이를 명확한 한계가 있는 개념 증명으로 규정하며, 레드팀에 유리하게 설정된 실험이었음을 인정했다. 데이터셋은 이 게임에 맞게 최적화되어 있어 실제 학습에서 우연히 나타날 가능성은 낮다. 다만 창작물 학습은 일상적으로 이루어지며, 공격적인 IT 보안 기술 질문 데이터처럼 실제 학습 자료에 가까운 것에서도 광범위한 불일치가 생겼다. 다음 단계에서는 일반적인 능력 향상용 학습으로 보이는 공격으로 바꾸고, 에이전트가 만드는 데이터를 학습 코퍼스 전체의 일부에만 머물게 하는 등 더 현실적인 설정을 계획하고 있다. Anthropic은 계산 자원을 늘리면 더 많은 취약점을 찾아낼 수 있는 자동 스트레스 테스트의 첫걸음으로 보고 있다.

The Decoder 발췌