Import AI· Jack Clark·· 2026년 5월 18일AI 점수38
Import AI 457: fast16 악성코드, Muon 옵티마이저의 뉴런 사멸, Aurora
Import AI 457: AI stuxnet; cursed Muon optimizer; and positive alignment
AI 요약
Tilde Research는 Muon 옵티마이저의 업데이트 규칙 때문에 MLP 층의 일부 뉴런이 영구적으로 죽는 문제를 지적하고, 대안으로 「Aurora」를 공개했다. 원문에 따르면 Muon에서는 학습률 워밍업 중 많은 뉴런이 죽었고, 500 스텝 시점에 4분의 1 이상이 사실상 죽은 상태였다. 약 100B 토큰으로 1.1B 파라미터 트랜스포머를 학습한 소규모 실험에서 Aurora의 최종 손실은 2.26으로, Muon(2.31)과 NorMuon(2.33)보다 낮았다.
출처: Import AI · importai.substack.com