[AINews] Goodfire 논문, 다의성에 대한 시각에 일석… 같은 날 Meta Muse Spark Open 등 각사 모델 공개
[AINews] Agents disprove Polysemanticity; greatly improve Interpretability & Alignment
Goodfire의 Nick Cammarata는 신경망은 이미 해석 가능한 상태라는 취지의 논고를 공개했으며, 다의성(polysemanticity)과 중첩(superposition)의 상당 부분은 에이전트 기반 분석으로 해결할 수 있다고 주장했다. 같은 날 Meta는 총 파라미터 816B, 활성 파라미터 42B의 MoE 구조로 1M 토큰 컨텍스트를 지원하는 Muse Spark Open을 공개했다. Artificial Analysis의 Intelligence Index에서는 39점을 기록해 미국 오픈 웨이트 모델 중에서는 1위이지만, GLM-5.3(45점)과 Kimi K3(44점)에는 미치지 못했다.
Goodfire의 Nick Cammarata는 조 단위 매개변수 모델에서도 대부분의 뉴런이 해석 가능하다고 주장하며, 유명한 다의성 사례 상당수가 잘못 읽힌 것이라고 밝혔다. 그는 2023년 OpenAI의 자동 해석 가능성 연구가 약 2%만 해석할 수 있었다고도 언급했다. 첨부 이미지에는 뉴런에 라벨을 붙이고 모티프를 찾는 유능한 에이전트가 해석 가능성에 도움이 된다는 취지의 설명이 보인다. 반응은 엇갈렸다. Neel Nanda는 자신의 주장은 그대로이며 표현의 중첩은 여전히 남아 있다고 보았다. Leo Gao는 KL로 측정하는 뉴런 시뮬레이션으로 설명을 평가해야 한다고 했고, Pfau는 논문 본문이 아직 공개되지 않았다고 지적했다.
Meta Muse Spark Open은 62개 층 모두가 MoE이며, 각 층에 256개의 전문가를 두고 토큰마다 8개가 활성화된다. 자체 Muse Model License로 공개되며, 저작자 표시와 연매출 2,000만 달러를 넘는 Model-as-a-Service 사업자를 위한 별도 계약이 요구된다. Artificial Analysis에 따르면 출력 토큰은 지표 과제당 40k로 상위 9개 모델 중 가장 적지만, 에이전트 계열 4개 평가에서는 최하위다. Together, Fireworks, Baseten에서의 요금은 100만 토큰당 입력 1.25달러, 출력 4.25달러이며, Together는 10월 18일까지 무료 엔드포인트를 제공한다.
이 밖에도 NVIDIA의 Nemotron 3.5 Super VL, Microsoft의 MAI-Base-2, Gemini 4 Argon, FLUX 3 Image Klein 등이 소개되었다. Anthropic은 Opus 5.5의 fast mode를 일반 제공으로 전환했으며, Claude Code Review를 Team 및 Enterprise 대상으로 일반 제공했다. Perplexity는 에이전트 실행용 샌드박스 SPACE를 Apache 2.0으로 공개했고, Anthropic의 매출과 자금 관련 보도도 함께 소개되었다.
출처: Latent Space · latent.space