본문 바로가기
원문
Latent Space· swyx .ai·· 8시간 전AI 점수62

AINews: Weight-Space Programming의 재현과 비판, 모델 공개·평가·정책 동향 한눈에 보기

[AINews] Behind Latent Space: Kill My SaaS, Jev & AI in 2026 | AIEi Shanghai

AI 요약

Latent Space의 AINews가 프런티어 LLM이 신경망의 가중치를 직접 읽고 쓰는 'Weight-Space Programming'의 재현 사례와 회의적인 시각을 정리했다. GPT-6 Astra로 Qwen3.5-0.8B의 MATH-500 점수를 7.9%에서 48.1%로 끌어올렸으나, 주된 원인은 루프 실패의 수정인 것으로 알려졌다. 이 밖에도 신규 모델, 평가 감사, 추론 인프라, 정책 및 인사 관련 소식을 함께 다뤘다.

자세히

처음에는 전날 다룬 Weight-Space Programming에 대해 일부 주장이 지나치게 호의적으로 제시되었다는 지적이 있다고 전한다. 다만 여러 독립적인 재현 결과가 나왔기 때문에 철회나 부정적인 후속 보도는 필요하지 않다는 입장이다. 이번 호에서는 AI Engineer Shanghai와 Latent Space의 역사에 관한 독점 인터뷰도 소개한다.

Weight-Space Programming에서는 GPT-6 Astra가 Qwen3.5-0.8B의 131,072개 가중치를 그래디언트 계산 없이 편집해 MATH-500 점수를 7.9%에서 48.1%로 끌어올렸다고 보고되었다. Zhihu의 재구성에 따르면, 수정된 답변 579건 가운데 576건은 원래 32K 토큰 상한에 도달하는 루프가 원인이었다. 15층과 19층의 MLP에서 '반복 방향'을 추출해 빼는 방식이며, 개선의 상당 부분은 기존 추론이 끝까지 완료될 수 있게 된 결과로 평가된다.

재현 사례로는 Hugging Face가 ML Intern에서 재현해 모델과 데모를 공개했으며, Simon Willison은 Qwen 3.8 27B로 노트북에서도 같은 결과를 얻을 수 있었다고 보고했다. 반면 비판 측은 적절한 베이스라인이 빠져 있고, Qwen의 결과는 재귀적 자기 개선보다는 버그 수정에 가깝다고 지적한다. Reddit에서도 실제로는 '가중치를 읽는' 것보다 Python 샌드박스를 활용한 해석 가능성 에이전트에 가깝다는 논의가 있었다.

이 밖에도 Tencent Hy4, Sarvam Prism, LongCat-2.5 등의 모델, Artificial Analysis와 Vals의 평가 갱신, Anthropic FlashProve 공개, vLLM v0.33.0 등 기반 기술 업데이트, 중간선거에서의 데이터센터 투표, OpenAI 인사와 fal의 자금 조달이 간략히 정리되어 있다. 벤치마크 감사에서는 AutomationBench와 OfficeQA Pro v2에서 채점상의 문제가 발견되었다고 전한다.

출처: Latent Space · latent.space