Apple Machine Learning Research·· 2일 전AI 점수30
SSM에서 게이팅의 역할: 메모라이제이션과 인컨텍스트 학습
On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
AI 요약
Apple 연구진은 State Space Models(SSM)에서 게이팅 메커니즘이 먼저 가중치에 정보를 암기시키는 '메모라이제이션' 해를 학습하게 만들어, 올바른 인컨텍스트 학습 해로의 수렴을 늦추거나 방해한다는 것을 이론과 실험으로 보였다고 밝혔다. 아키텍처나 메모리 용량에서 비롯된 근본적인 제약이 없는 경우에도 이 현상이 나타난다고 한다. 한편 게이팅은 긴 시퀀스 길이로의 일반화를 개선하는 데 효과적인 경우가 많다.
출처: Apple Machine Learning Research · machinelearning.apple.com