UserArena: 장기 쇼핑 에이전트를 위한 대화형 사용자 시뮬레이션 평가 벤치마크

UserArena는 실제 e커머스에서 수집한 장기 쇼핑 행동을 대상으로 하는 대화형 벤치마크이며, 사용자 11,010명의 세션 궤적 64,729건, 상품 566,102개, 액션 유형 13종을 포함한다. 아울러 On-Policy Trajectory Distillation(OPTD)을 제안했으며, 평가한 시뮬레이터 가운데 종합 충실도가 가장 높고 오프라인 시뮬레이션에서 실서비스 정책의 효과를 가장 근접하게 재현했다고 밝혔다.