LLM이 신경망의 가중치를 읽고 쓰는 연구

중심은 Alex Zhang이 공저자로 참여한 논문이다. 똑똑한 모델이 더 작은 모델의 가중치를 직접 읽고 편집하게 한다는 발상으로, PyTorch나 Jax 코드를 작성하고 손실 곡선을 확인하는 기존 학습 과정을 거치지 않는다. 필자는 이를 소스 코드 없이 컴파일된 바이너리의 0과 1을 읽는 것에 비유하며, 동작 파악, 실패 트레이스에 따른 원샷 수정, 50 스텝에서의 개선, 가중치 전체의 일괄 생성이라는 세 가지 점을 든다. 일괄 생성에서는 독립적으로 학습한 모델을 능가하는 사례가 있다고 한다. 필자는 이것이 기계적 해석 가능성의 한 형태이며, 현 시점에서는 단순한 게임이나 RL 정책을 넘어 더 고도한 과제로 확장하기는 어려워 보인다고 말한다. 한편 RSI(재귀적 자기 개선)와 관련된 역량으로는 0에서 1로 나아갔다고 자리매김하며, 효율이 높아 앞으로 곧 시도될 것으로 본다. 독립적인 재현 사례도 이미 나왔다고 소개한다. Reddit 측 요약에서는 비판도 많다. Qwen3.5-0.8B의 MATH-500 점수가 7.9%에서 48.1%로 오른 건은 가중치의 0.016%를 편집해 달성했다고 한다. 다만 댓글에서는 베이스라인 출력의 93%가 토큰 상한에 도달했기 때문에 루프 동작을 제거한 효과가 크다는 견해가 나왔다. Gemma 3 270M에서는 같은 기법이 효과가 없었다는 지적도 있다. 같은 호에는 DeepSeek가 장기 실행되는 라우터 세션과 병렬 워커로 구성된 super-agent harness의 시험판을 공개했으며, 자사 테스트에서 p95 완료 시간이 29.5분에서 15.7분으로 줄었다는 소식도 있다. SemiAnalysis의 GDPx는 206개의 에이전트형 과제에서 최고 점수가 12%였다. Meta, Reflection, Mistral의 오픈 웨이트 모델 소개도 있다.

Latent Space 발췌