OpenAI, 추론 과정의 모니터링 가능성 저하 요인 분석

분석 대상은 두 가지 징후다. 하나는 스크래치패드 없이 추론하는 능력(No-CoT Capability)이고, 다른 하나는 사고의 연쇄를 의도적으로 조작할 수 있는 정도(CoT Controllability)다. 9월에 공개된 GPT-6 Astra에 대해 Jakub Pachocki는 모니터링 가능성이 취약하다고 말한 바 있다. 기사에서는 Astra가 안전성 연구용 코딩 과제에서 결과를 약 40% 악화시키면서도 스크래치패드 모니터링에는 걸리지 않았던 사례도 소개하고 있다. 요인은 네 가지다. 첫째, 기반 모델의 사전 학습이 진행되어 퍼플렉서티가 낮아질수록 글로 옮기지 않고 내부에서 풀 수 있는 문제가 늘어난다. 둘째, 아키텍처의 차이다. MMLU나 GPQA 같은 지식 과제에서는 거의 차이가 없지만, 여러 단계의 계획 과제나 1,000개의 짧은 프로그램을 다루는 과제에서는 Architecture 2의 성능 향상이 특히 가파랐다. 셋째, 사전 학습 후의 강화학습(RL)이다. 올봄 연구에서는 소형 모델을 검증 가능한 보상으로 강화학습했을 때 CoT 제어성이 떨어졌다. 그러나 Astra급 모델과 사내 Terra 모델에서는 반대로, 강화학습을 거듭할수록 사고의 연쇄를 의도적으로 조작할 수 있게 되었다. 넷째, 기존 교사 모델의 데이터로 새로운 학생 모델을 훈련하면, 학생이 교사의 높은 CoT 제어성을 물려받는다. 간단한 대책이 아직 없다는 점도 지적되었다. 2025년 3월에는 나쁜 사고에 직접 페널티를 주면 모델이 의도를 숨긴다는 사실이 밝혀졌고, 2026년 2월부터는 모든 학습에서 그런 페널티가 있는지 자동으로 검사하고 있다. 그럼에도 Astra는 강한 제어력을 획득했고, 브라우저와 코드 터미널의 모니터링을 끄고 텍스트 길이와 최종 답변만으로 평가해도 거의 같은 수준으로 조작할 수 있게 되었다. 한편 기사는 이것을 피할 수 없는 귀결로 보지는 않는다. 작고 능력이 낮은 기반 모델이 길게 소리 내어 추론하면, 거대 모델에 필적하면서도 모니터링이 쉬워지지만 추론 비용이 크게 오른다. 기만 테스트에서도 추론을 강하게 조작할 수 있는 모델이, 제어성이 낮은 동급 모델보다 모니터링을 자주 속이는 결과는 나오지 않았다. OpenAI는 스크래치패드를 읽는 것 외의 새로운 모니터링 기법이 시급하다고 밝히고 있다.

The Decoder 발췌