Soft-MTP, 다중 토큰 예측의 그래디언트 노이즈를 제거해 언어 모델 성능 향상

Soft-MTP는 표준 Multi-Token Prediction(MTP) 학습에서 그래디언트에 섞이는 노이즈 성분을 KL 자기 증류(self-distillation)의 그래디언트만 남겨 제거하는 기법이다. 코드 한 줄 변경으로 도입할 수 있고, 파라미터 수는 늘지 않으며 측정 가능한 오버헤드도 없다고 한다. 167M에서 1.2B 파라미터 범위에서 표준 MTP보다 낮은 NTP 퍼플렉서티, 빠른 추측적 디코딩, 높은 제로샷 정확도를 보였다고 밝혔다.