장기 과제를 수행하는 LLM 에이전트를 위한 Multiscale Policy Optimization(MPO)

Multiscale Policy Optimization(MPO)은 장기 과제를 수행하는 LLM 에이전트의 학습에서 크레딧 할당과 정책 업데이트를 턴 단위로 맞추는 기법이다. MPO는 Multiscale Advantage Estimation(MAE)과 턴 수준 중요도 샘플링을 결합해 구성된다. 검색, 도구 사용, 자동화 과제에서 4B 및 30B-A3B 모델로 진행한 실험에서는 강력한 RL 베이스라인 대비 일관된 성능 향상을 보였다.