장기 에이전트형 강화학습을 위한 TreeOPSD

TreeOPSD는 Critic을 사용하지 않고 트리 구조를 고려한 사후 자기 증류(post-hoc self-distillation)를 통해, 장기 대화 과제에서 언어 모델 에이전트의 강화학습을 가능하게 하는 기법이다. 각 대화 턴을 트리의 노드로 취급하고, 종료 보상을 거슬러 올라가 턴 단위 크레딧을 추정한 뒤, 고정된 행동 정책에 대한 우도비로 정해지는 유계(bounded) 교사 분포로 변환한다. Qwen3-30B-A3B-Thinking-2507에서 Deep Research 설정 기준, GRPO 대비 평균 정확도가 4.97포인트 향상되었다.