Simon Willison, 노트북에서 Qwen 3.8 27B로도 모델 가중치 해석이 가능하다고 보고
Qwen 3.8 27B on my laptop can interpret model weights, too
Simon Willison은 노트북에서 구동한 Qwen 3.8 27B가 원시 가중치 수치만으로 강화학습 네트워크가 학습한 게임을 맞혔다고 보고했다. Pac-Man, Pong, Breakout은 식별했지만 한 문제당 46분에서 1시간 넘게 걸렸다.
원본 논문은 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab의 「Sparks of Weight-Space Programming」이다. 논문은 GPT-6 Astra가 가공되지 않은 가중치만 보고도 네트워크가 무엇을 학습했는지 파악할 수 있으며, 가중치를 직접 편집할 수도 있다고 주장한다. Willison은 이 논문이 도구 없이 가중치를 읽는 능력과, 코드를 이용해 다른 모델을 개선하는 능력이라는 두 가지로 나눠 봐야 한다고 보고 전자에 초점을 맞췄다.
실험은 10x10 격자판 버전의 Breakout, Pong, Pac-Man, Freeway로 강화학습한 네트워크의 가중치를 부동소수점 수치로 모델에 전달하고, 어떤 게임인지 맞히게 하는 방식이다. 코드 실행과 계산기는 사용할 수 없고, 한 번의 응답으로 답해야 하는 조건이다. 프롬프트는 논문의 GitHub 저장소 RikiyaT/lm_understand-logs에 공개되어 있으며, Willison은 자신이 만든 LLM 도구의 -f 옵션에 URL을 넘겨 실행했다.
Kimi K3.1 Pro는 OpenRouter를 통해 Breakout을 9분 41초, 19,493토큰의 추론 끝에 정확히 맞혔다. Qwen 3.8 27B는 약 17GB 버전을 LM Studio에서 구동했고, 긴 컨텍스트 윈도우를 설정해 실행했다. 기본값인 8192에서는 실패했다고 한다. 타임아웃도 환경 변수로 늘려 두었다.
Qwen 3.8 27B의 결과는 Pac-Man이 46분 12초, 43,506토큰에 신뢰도 72%, Pong이 1시간 4분 54초에 75%, Breakout이 52분 25초에 88%였다. Freeway는 작성 시점에 아직 처리 중이었다. 추론 과정은 사람이 거의 읽어낼 수 없는 내용이지만, 충분히 경험이 많은 사람이 메모와 연필로 시간을 들이면 도달할 수 있을 것이라고 Willison은 보고 있다. 그는 논문이 흥미롭다고 평가하면서도, 주변의 과도한 논조에는 동의하지 않으며 소스 코드의 시대가 끝났다고까지 말할 수는 없다고 밝혔다.
출처: Simon Willison · simonwillison.net