Google Research, LLM의 지속 학습에서 지식을 보존하는 “sleep framework” 제안

Google Research는 LLM이 지속 학습 과정에서 지식을 보존하도록 돕는 “sleep framework”를 제안했다. 깨어 있는(active) 단계에서 얻은 단기적 문맥을 수면 단계에서 해제되는 Mixture-of-Experts(MoE) 메모리 블록에 통합하고, 이를 장기적인 파라미터로 정착시키는 구조다. 원문에 따르면 이 교대 반복을 통해 새로운 사실을 지속적으로 습득하고, 최대 10M 토큰의 장문맥 지식을 유지하면서 복잡한 추론 성능을 향상시킬 수 있다고 제시되어 있다.