Google, 수면형 지속 학습 프레임워크 발표
지금까지의 흐름
Google Research는 LLM이 지속 학습 과정에서 지식을 보존하도록 돕는 “sleep framework”를 제안했다. 깨어 있는(active) 단계에서 얻은 단기적 문맥을 수면 단계에서 해제되는 Mixture-of-Experts(MoE) 메모리 블록에 통합하고, 이를 장기적인 파라미터로 정착시키는 구조다. 원문에 따르면 이 교대 반복을 통해 새로운 사실을 지속적으로 습득하고, 최대 10M 토큰의 장문맥 지식을 유지하면서 복잡한 추론 성능을 향상시킬 수 있다고 제시되어 있다.
Google Research Blog 발췌
보도 타임라인
보도를 따라가며 이슈의 여러 측면을 살펴보세요.
- Google Research BlogGoogle Research, LLM의 지속 학습에서 지식을 보존하는 “sleep framework” 제안
Google Research는 LLM이 지속 학습 과정에서 지식을 보존하도록 돕는 “sleep framework”를 제안했다. 깨어 있는(active) 단계에서 얻은 단기적 문맥을 수면 단계에서 해제되는 Mixture-of-Experts(MoE) 메모리 블록에 통합하고, 이를 장기적인 파라미터로 정착시키는 구조다. 원문에 따르면 이 교대 반복을 통해 새로운 사실을 지속적으로 습득하고, 최대 10M 토큰의 장문맥 지식을 유지하면서 복잡한 추론 성능을 향상시킬 수 있다고 제시되어 있다.
이 이슈의 화제도 추이
현재 화제도 3·비교 가능한 최고치 4 (10월 29일 11:00)·24시간 비교 가능 변화 –
추이는 연속으로 빠짐없이 관측한 계정만 비교하므로 현재 화제도 수치보다 범위가 좁을 수 있습니다. 포인터를 움직이거나 차트를 누르면 시간대별 화제도를 볼 수 있고, 키보드에서는 왼쪽·오른쪽 방향키를 쓰면 됩니다.