지식 증류 비용을 낮추는 오프라인 Top-K logits와 융합 청크화 KL 손실

교사 모델의 Top-K logits를 사전에 오프라인으로 계산해 캐시하고, 어휘 전체×시퀀스 길이 행렬을 만들지 않는 융합 청크 방식 KL 손실과 결합함으로써 지식 증류의 학습 비용을 줄이는 기법이 제시되었다. gpt-oss-120b(어휘 201,088개), 시퀀스 길이 32K, 배치 크기 4인 경우 기존 Dense KL은 학습 이터레이션 1회당 피크 VRAM이 약 250GB 필요한 반면, 융합 청크 KL은 약 128GB로 억제된다. 이를 통해 단일 GPU에서 장문 컨텍스트 회복(healing)이 가능해진다.