텐센트 AI 책임자, AI 생물무기 위험과 오픈/클로즈드 논쟁 지적

Yao는 전 OpenAI 출신으로, 오픈 소스와 클로즈드 모델을 병행하면 방어 측도 기술을 활용할 수 있다고 말했다. 다만 생물 분야에서는 공격 능력과 방어 능력을 구분하기가 사이버 보안보다 어렵다고 봤다. 중국과 미국 모델의 격차가 크지 않은 만큼 업계 전체가 신중하게 대응하도록 촉구하고 있다. 그 근거로 든 것이 Hugging Face 해킹 사건이다. Anthropic을 포함한 미국의 클로즈드 모델은 안전 필터 때문에 공격 명령어 분석을 거부했고, 이 회사는 대신 오픈 중국산 모델 GLM-5.2로 로그를 분석했다. 다만 GLM-5.2는 포렌식 분석에만 쓰였고, 실제 공격은 취약점 수정, 서버 재구축, 인증 정보 교체로 차단됐다. Hugging Face도 이 사건을 호스트형 모델의 안전 필터에 반대하는 논거로 삼아서는 안 된다고 강조했다. Anthropic은 7월 NVIDIA가 지원한 서한, 즉 오픈 모델에 대한 성급한 규제에 경고하는 서한에 서명하지 않은 유일한 주요 AI 연구소였다. Dario Amodei는 오픈 모델이 방어 측에 유리하다는 주장에 반박하며, 안전 장치를 강제하기 어렵고 공개된 가중치는 회수할 수 없어 위험이 크다고 말했다. 다만 오픈 모델의 전면 금지를 요구하지는 않는다고 밝혔다. abliteration이라는 기법에서는 가중치에 접근할 수 있는 사람이 학습된 거부 동작을 제거할 수 있다. 개조 버전은 Hugging Face에 수천 개가 있으며, 미국 스타트업 Abliteration.ai는 필터가 없는 GLM-5.3 접근권을 판매하고 있다. 현재 연구에 따르면 기존 대책은 개조를 어렵게 할 뿐 막지는 못한다. 더 견고한 방법은 학습 단계에서 위험한 지식을 모델에 넣지 않는 것으로 알려져 있다. 한편 클로즈드 측 필터도 과잉일 수 있다. Claude Fable 5 이후 사이버와 바이오 관련 의심스러운 질문은 성능이 낮은 Opus 4.8로 넘어간다. Artificial Analysis에 따르면 처음에는 작업의 8~9%가 대상이 되었고, MRI 영상 분석이 생물테러로 취급됐다는 보고도 있었다. Anthropic은 필터가 지나치게 엄격했다고 인정했다. Tencent는 곧 공개할 Hy4에 대해 생물 분야 능력이 고위험 임계값보다 낮다고 밝히고, 학습 데이터 필터링으로 해킹 능력을 제거했다고 설명했다. 연구자들은 이 방법이 abliteration에도 견딘다고 보고 있다.

The Decoder 발췌