Anthropic, METR에 직원 수준의 접근 권한 부여하고 독립 평가자와의 협력 확대

Anthropic은 지난달 모델과 안전 대책에 대한 제3자 평가를 강화하겠다고 밝혔고, 독립된 외부 감사자 및 평가자와의 협력을 기업이 약속하는 White House Accord on Super Intelligence에도 서명했다. 이번 발표에서 Anthropic은 METR의 직원 6명을 받아들였으며, 자사 리스크 평가팀과 거의 같은 수준의 사내 도구와 시스템에 대한 접근 권한을 줬다고 설명했다. 회사 지급 장비와 사무 공간도 제공된다.

직원 수준의 접근 권한을 줘도 고객 데이터, 변호사와 의뢰인 간의 비밀 정보, 모델 아키텍처에 관한 정보 등 미리 정한 소수의 범주는 대상에서 제외된다. METR은 분석 결과를 공개할 수 있고, Anthropic은 공개를 거부할 수 없지만 이러한 범주에 해당하는 정보의 삭제는 요구할 수 있다. 해당 여부는 최종적으로 Anthropic이 판단하며, METR은 접근 범위와 얻은 정보의 수준에 대해 의견을 밝힐 권리를 보유한다. METR의 관여는 강제력 있는 계약 아래에서 움직이는 소규모 팀에 한정된다.

평가자에게 요구하는 조건으로는 정렬 위장(alignment faking) 등 평가가 실패하는 방식까지 포함한 프런티어 모델의 능력 평가 전문성, 평가 대상 기업의 주식을 보유하지 않고 재무적·운영적으로 의존하지 않는 독립성, 모델의 훈련 방법과 안전 대책의 구조까지 살펴볼 수 있는 접근성, 관찰과 평가 결과를 공개할 자유를 들었다. 완전히 같은 구조는 아니라고 하면서도, 은행 감독에서 당국이 대형 은행에 상주 검사관을 두는 제도를 비슷한 사례로 제시했다.

접근 권한은 3단계로 정비 중이다. 1단계는 범위를 좁힌 리스크 조사로, 제공할 정보는 Anthropic이 정하며 공개에는 승인이 필요하다. 2단계는 승인 없이 공개할 수 있고 더 많은 정보에 접근할 수 있지만, 특정 범주의 삭제는 요구할 수 있다. 평가자는 삭제의 타당성에 대한 의견을 공개할 수 있다. 3단계가 METR과 맺는 형태다.

다른 협력으로는 SecureBio가 8월에 발표한 Risk Report 중 화학·생물무기 장을 검토하고 있으며, 완료 후 접근 범위를 넓히는 방안을 검토하고 있다. Accenture, Faculty와는 모델 평가와 레드티밍, 정렬 평가, 안전 대책 테스트 등을 포함한 협력을 목표로 하고 있다. Anthropic은 평가자 참여를 자발적으로 확대하고 있으며, 모든 프런티어 AI 기업도 같은 조치를 취해야 한다고 밝혔다.