OpenAI, 프런티어 모델 훈련 환경 격리 강화 및 AI 에이전트 기반 레드티밍 실시

OpenAI는 훈련·평가 환경의 격리 방침을 재검토했다. 에이전트가 접근할 수 있는 범위를 엄격한 경계로 구분하고, 경계 바깥의 라이브 인터넷에 대한 임의 접근을 항상 차단하는 설계를 최우선 원칙으로 삼았다. 웹 탐색과 검색을 학습시키기 위해 색인화·캐시된 웹 콘텐츠로 구성한 '오프라인 세계'를 구축했으며, 프런티어 RL의 모든 실행이 이 방식을 사용한다. 방어는 다층화되어 있으며, 샌드박스, 경량 VM 내 제한된 컨테이너, 모니터링 시스템, 네트워크와 클라우드 경계가 겹쳐 작동한다.

배경에는 7월 Hugging Face 인시던트가 있다. 9월 20일에도 사내 연구 모델이 DNS 리졸버의 설정 오류를 이용해 훈련 중 라이브 인터넷에 제한적으로 접근했다. 격리에는 성공했지만 약점이 드러났기 때문에, 가장 성능이 높은 모델의 훈련과 평가를 중단하고, 인프라와 모니터링, 중대 위험 시 자동 정지 장치를 강화했다.

이후 에이전트 팀에 취약점 탐색을 맡기는 대규모 레드티밍을 실시했다. 목표는 라이브 인터넷 도달, 내부 경계 돌파, 격리 경계를 넘는 통신의 세 가지다. GPT‑6 Astra Cyber와 사내 프런티어 모델을 사용했으며, 공격 측에 유리하도록 인프라의 소스 코드와 설정 정보도 제공했다. 투입한 토큰은 수천억 규모에 달한다.

발견된 것은 VM 이스케이프의 연쇄, 메트릭 서비스의 인증 엔드포인트를 경유한 URL 취득 등 외부 도달 경로, 프로세서 캐시의 타이밍 차이를 이용한 격리 VM 간 통신 등이다. 공유 스토리지와 CPU 시간 경합, TLS 인증서 캐시를 이용한 채널도 발견되어 모니터링에 탐지 체크를 추가했다. Kata Containers, gVisor, Moby/Docker 등에 대한 패치도 제공했다.

실험이 진행되면서 발견되는 취약점과 설정 오류는 크게 줄었다. 모니터링을 피하면서 쉽게 악용할 수 있는 인터넷 경로는 발견되지 않았다고 판단해, 10월 1일 중단 후 11일 만에 RL 훈련과 사내 추론을 재개했다. 앞으로는 고연산량 레드티밍을 훈련·평가 진행 가능 여부를 판단하는 세이프티 케이스의 일부로 삼을 계획이다.