Vals 조사: 오픈 모델, 해킹 능력에서 클로즈드 모델 근접

Vals는 공개 웹사이트를 통해 접속하는 모의 기업 네트워크와, 한 기업을 침해한 뒤 다음 기업 네트워크로 나아가는 2개 기업 구성의 두 가지 시나리오에서 여러 AI 모델에 복잡한 다단계 과제를 주었다. 가장 높은 성과를 낸 것은 신뢰 파트너만 사용할 수 있는 OpenAI의 사이버 특화 모델 Daybreak으로, 두 차례 테스트 평균 81%의 과제를 완료했다. DeepSeek는 평균 73%였으며, 일부 과제에서는 두 모델의 성적이 같았다고 한다. 비용 격차도 크다. Vals에 따르면 GPT-6-Sol이 공격을 실행하는 데 필요한 토큰 비용은 17~46달러이고, DeepSeek는 2~3달러다. 오픈 모델은 자체 하드웨어에서 구동할 수 있어 저렴하며, Vals의 CEO인 Rayan Krishnan은 방어 측도 오픈 모델을 사용할 강한 동기가 될 것이라고 말했다. 배경으로는 Anthropic 등 미국의 프런티어 연구소들이 4월의 Claude Mythos Preview를 계기로 신모델을 제한 공개해 왔다. Project Glasswing을 통해 방어 측에 전체 기능을 먼저 제공하려는 목적이며, Logan Graham은 6개월, 12개월, 24개월 뒤에 능력이 널리 퍼진다는 전제로 대비해야 한다고 말한 바 있다. 기사는 이번 결과가 그 전환이 7개월 만에 찾아왔음을 보여준다고 평가한다. 한편 실제 사이버 범죄나 국가 지원형 공격에서는 공격자가 자원을 아끼기 위해 오래되어 능력이 떨어지는 모델을 쓰는 경우가 많다고 관측된다. Edera 공동창업자 Alex Zenla는 안전 훈련을 무력화한 abliterated 모델을 포함해 오픈 웨이트로도 고도의 공격이 가능하다고 인정하면서도, 비공개 연구소는 공개되지 않은 더 높은 성능의 모델을 보유하고 있을 수 있다며 고양이와 쥐의 게임이라고 말했다. AI가 새로운 유형의 위협인지, 기존 과제를 증폭시키는 것인지에 대해서는 전문가들 사이에서 논쟁이 계속되고 있다.

WIRED AI 발췌

추이를 그릴 만큼 연속 관측 데이터가 아직 부족합니다.