Mixture-of-Experts 디코딩의 채널 선택, 보정 데이터 불필요

Prox는 보정 데이터를 사용하지 않고 상위 k개의 채널을 선택하여 Mixture-of-Experts(MoE) 모델의 추론을 가속하는 기법이다. 보정된 임계값으로는 읽기량을 예측할 수 없지만, 동일한 점수에서 top-k 방식은 13%와 18%의 예산에서 43건 중 40건에서 임계값 방식과 같거나 더 높은 정확도를 보였다. 모델 가중치만으로 구성된 reader는 라우팅된 expert의 읽기량을 17.8%로 억제하면서도 전체 모델 정확도의 98.1%를 유지했으며, Triton 커널은 배치 크기 1에서 vLLM보다 1.60~1.90배 빨랐다.