HOPE, 전문가 간 상호작용을 고려한 MoE 전문가 가지치기 기법

HOPE(Higher-Order Pruning of Experts)는 MoE 언어 모델의 전문가를 2차 상호작용까지 고려해 가지치기하는 기법이다. 50% 가지치기 시 평균 순위에서 최고 결과를 보였으며, 에이전트형 코딩 작업에서는 차점 가지치기 기법보다 최대 +6.1% 높다고 보고되었다. 기존 기법이 각 전문가를 독립적으로 평가하는 반면, HOPE는 함께 활성화되기 쉬운 전문가 그룹 간의 의존 관계를 고려한다.