MRTPO, 다중 보상 RL에서 각 보상의 우위를 관련 토큰에만 할당하는 기법 제안

MRTPO는 다중 보상 강화학습에서 각 보상의 advantage를 해당 검증기가 확인하는 토큰에만 할당하는 기법이다. 보상마다 정책이 자신의 응답을 검증기 정보가 있는 경우와 없는 경우로 다시 생성하고, 다음 토큰 분포의 Jensen-Shannon 거리로 각 토큰의 관련도를 측정한다. 보조 모델이나 토큰 단위 주석은 필요하지 않으며, text-to-SQL, 복수 제약 지시 따르기, 도구 호출에서 기존 기법보다 빠르게 수렴하고 높은 성능을 보였다.