Meta Expert: 스토리지와 검색 효율이 뛰어난 MoE를 위한 층간 전문가 공유

층을 가로질러 공유하는 Meta Expert를 사용한 MoE 모델은 층마다 Local Expert를 두는 기존 구조와 비교해 파라미터 중복이 적고, 크로스 엔트로피 손실이 낮으며, 다운스트림 태스크의 정확도가 높다고 보고되었다. 활성화하는 expert 수와 세분성을 고정한 조건에서는 Vanilla MoE의 70~80%에 해당하는 expert로 동등한 성능에 도달했다. 이론 분석에서는 Meta Expert가 은닉 상태에 더 유연한 잔차 경로를 제공해 정보 검색의 효율을 높인다는 점이 제시된 것으로 알려졌다.