Looped Transformer 학습에서 절단 BPTT는 효과적인가, 스케일링 법칙으로 검증

완전한 BPTT로 학습한 Looped Transformer는 동일한 계산량 아래에서 절단 BPTT보다 낮은 손실을 보인다. 모델 크기도 가변으로 두면, 스케일링 법칙은 완전히 학습시키는 2루프를 최적 설정으로 특정한다. 이 설정은 계산량 최적의 비루프 모델보다 검증 손실이 낮으며, 비임베딩 파라미터는 약 27% 적고, 학습 계산량 증가는 8%에 그친다.