PAR, 상태 추적의 길이 일반화를 높이는 진행 정렬형 순환 구조 제안

PAR는 루프형 언어 모델의 상태 추적 과제에서 짧은 시퀀스로 학습한 모델을 긴 시퀀스로 일반화하는 기법이다. 학습 시 최대 32단계의 swap-S5로 학습한 0.5B 모델은 512단계(학습 길이의 16배)에서 전체 상태 정확도 95.5%를 달성하며, 기존 최고 성능인 RLT(55.7%)와 CoT(0.8%)를 크게 웃돌았다. 중간 상태에 대한 주석은 필요 없으며, 최종 답에 대한 교사 신호만으로 학습할 수 있다.