Simon Willison, 노트북의 Qwen 3.8 27B에서도 모델 가중치를 해석할 수 있다고 보고

원본 논문은 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab의 「Sparks of Weight-Space Programming」이다. 논문은 GPT-6 Astra가 가공되지 않은 가중치만 보고도 네트워크가 무엇을 학습했는지 파악할 수 있으며, 가중치를 직접 편집할 수도 있다고 주장한다. Willison은 이 논문이 도구 없이 가중치를 읽는 능력과, 코드를 이용해 다른 모델을 개선하는 능력이라는 두 가지로 나눠 봐야 한다고 보고 전자에 초점을 맞췄다. 실험은 10x10 격자판 버전의 Breakout, Pong, Pac-Man, Freeway로 강화학습한 네트워크의 가중치를 부동소수점 수치로 모델에 전달하고, 어떤 게임인지 맞히게 하는 방식이다. 코드 실행과 계산기는 사용할 수 없고, 한 번의 응답으로 답해야 하는 조건이다. 프롬프트는 논문의 GitHub 저장소 RikiyaT/lm_understand-logs에 공개되어 있으며, Willison은 자신이 만든 LLM 도구의 -f 옵션에 URL을 넘겨 실행했다. Kimi K3.1 Pro는 OpenRouter를 통해 Breakout을 9분 41초, 19,493토큰의 추론 끝에 정확히 맞혔다. Qwen 3.8 27B는 약 17GB 버전을 LM Studio에서 구동했고, 긴 컨텍스트 윈도우를 설정해 실행했다. 기본값인 8192에서는 실패했다고 한다. 타임아웃도 환경 변수로 늘려 두었다. Qwen 3.8 27B의 결과는 Pac-Man이 46분 12초, 43,506토큰에 신뢰도 72%, Pong이 1시간 4분 54초에 75%, Breakout이 52분 25초에 88%였다. Freeway는 작성 시점에 아직 처리 중이었다. 추론 과정은 사람이 거의 읽어낼 수 없는 내용이지만, 충분히 경험이 많은 사람이 메모와 연필로 시간을 들이면 도달할 수 있을 것이라고 Willison은 보고 있다. 그는 논문이 흥미롭다고 평가하면서도, 주변의 과도한 논조에는 동의하지 않으며 소스 코드의 시대가 끝났다고까지 말할 수는 없다고 밝혔다.

Simon Willison 발췌