GPT-6 Astra, 모델 가중치를 직접 읽고 쓰며 다른 AI 모델을 변경하는 연구

Weight-Space Programming은 재학습 대신 언어 모델이 가중치를 하나씩 조정하는 기법이다. Astra는 숫자 목록을 직접 다루는 경우와 프로그래밍 도구나 테스트 실행의 피드백을 활용하는 경우가 있었다. 가중치만 보고도 네트워크가 4개의 게임 중 어떤 것을 학습했는지 정확히 식별했고, 소형 언어 모델이 학습한 언어도 알아맞혔다. 이미지 생성 모델의 기본 도형도 인식했지만 채우기와 윤곽선은 혼동했다. 아첨하는 응답을 하도록 훈련된 모델을 판별하는 실험에서는 가중치만으로는 구별하지 못했고, 처리 중의 주의(attention) 정보를 관찰할 수 있게 되자 3쌍 모두 정확히 식별했다.

학습 없이 가중치를 생성하는 실험도 있었다. 게임의 규칙과 소스 코드만으로 3개의 간단한 게임용 모델 가중치를 작성했는데, Breakout에서는 평균 517점을 기록해 표준 기법으로 1억 라운드 학습한 기준선의 25점을 넘어섰다. 나머지 두 게임에서는 가장 오래 학습한 버전에는 미치지 못했다. 9x9 바둑에서는 약 150만 개의 매개변수를 가진 네트워크의 가중치를 작성한 뒤 50회의 테스트 반복으로 수정했고, 약 2000만 판으로 학습한 같은 규모의 모델을 이겼다.

가장 실용적인 실험은 Qwen3.5-0.8B의 수학 능력 개선이다. Astra는 모델 자신의 문서에도 주의 사항으로 적혀 있는, 같은 문장을 끝없이 반복하는 사고 루프를 문제로 특정했다. 가중치의 0.016%를 변경한 결과 MATH-500 점수는 7.9%에서 48.1%로, 지시 따르기 성능은 21%에서 62%로 향상됐다. 다만 최대 길이에 도달하는 응답은 93%에서 3분의 1 수준으로 줄었을 뿐, 루프가 완전히 사라진 것은 아니다. 루프가 적은 Gemma 3 270M에서는 측정 가능한 개선이 나타나지 않았다. 연구진은 기존 능력을 억누르고 있던 막힘은 제거할 수 있었지만, 모델에 본래 없는 능력을 새로 추가할 수는 없었다고 보고 있다.