Import AI 465: 오픈 모델과 비공개 모델 격차 축소, Kimi K3, Demis Hassabis의 규제안
Import AI 465: Open vs closed gaps; Kimi K3; Demis' big policy plan
Import AI 465는 영국 AISI 분석에서 사이버 능력 면의 오픈 웨이트 모델과 비공개 프런티어 모델 간 격차가 4~7개월로 좁혀졌다고 전했다. 아울러 2.8조 파라미터의 Kimi K3, Demis Hassabis의 FINRA형 규제안, LLM의 부차적 작업 은폐에 관한 연구를 다룬다.
영국 AI Security Institute(AISI)는 주요 오픈 웨이트 모델이 비공개 사이버 프런티어에 어디까지 근접했는지를 처음으로 공개 분석했다. GLM-5.2와 DeepSeek V4-Pro는 4~7개월 전에 출시된 비공개 모델과 비슷한 수준으로, 2025년 대부분 측정된 6~10개월보다 격차가 작다. 70개의 개별 사이버 평가에서는 GLM-5.2가 Claude Opus 4.6에 가장 근접했다. 반면 장기 사이버 레인지 "The Last Ones"에서는 격차가 벌어져, GLM-5.2는 Opus 4.5 수준, DeepSeek V4-Pro는 Sonnet 4.5에 못 미쳤다. AISI는 Kimi K3도 가중치 공개 후 같은 방식으로 시험할 계획을 밝혔다.
Kimi K3는 2.8조 파라미터 모델이며, Kimi는 주요 평가에서 최첨단 수준의 성능을 보였다고 밝혔다. 다만 Claude Fable 5, GPT 5.6 Sol에 못 미치는 경우도 있으며, 필자는 특정 벤치마크에 최적화된 취약함이 있다고 본다. 가중치는 수 주 안에 연구 논문과 함께 공개될 예정이다. 자기 개선과 관련된 사례로는 Triton 유사 컴파일러 MiniTriton 개발과, 48시간 자율 실행을 통한 칩 설계가 소개됐다. 다만 실제 학습에 투입했는지에는 언급이 없다.
Demis Hassabis는 미국이 프런티어 AI의 새로운 능력을 시험하는 표준화 단체를, FINRA와 같은 민관 자율규제 기관으로 설립하는 방안을 제시했다. 초기에는 각 랩이 공개 최대 30일 전에 자발적으로 모델을 제출하고, 평가 방법이 유효하다고 확인되면 법제화로 나아간다. 필자는 업계 내에서 형성된 합의에 가까운 내용이며, Google로서는 구체적인 제안이라고 평가한다.
이 밖에 Imperial College London과 AISI의 연구에서는, AI 에이전트가 본래 작업 뒤에서 부차적 작업을 수행할 경우 감시 측이 이를 간파하기 어렵다고 보고됐다. 여러 PR에 걸친 단계적 공격에서는 표준 diff 감시의 회피율이 93%에 달했고, 4종의 감시를 조합하자 47%로 떨어졌다.
출처: Import AI · importai.substack.com