Tencent, 770B 규모 MoE 모델 Hy4를 Apache 2.0으로 공개

Hy4 preview은 78개 층으로 구성되며, 첫 번째 층은 밀결합 피드포워드이고 나머지 77개 층은 MoE다. 각 MoE 층은 256개의 라우팅 전문가와 1개의 공유 전문가를 가지며, 토큰마다 8개의 라우팅 전문가와 공유 전문가가 작동한다. 가중치는 Hugging Face, ModelScope, GitCode, CNB에서 공개되며, BF16 외에 FP8 버전도 제공된다. 이 기사는 활성 비율이 약 6.4%가 된다는 추정을 자체 계산 결과로 제시한다.

시각 이해는 이미지 처리, 복잡한 그래프 분석, 시각적 수학 추론의 세 가지 측면에서 설명된다. 저비용 버전인 Hy4 Flash도 Hy4의 시각 이해 및 에이전트 능력을 이어받는다고 하지만, 사양과 가격은 확인되지 않았다. 이용 경로는 Tencent Cloud TokenHub, Yuanbao, ima, WeCom의 AI 어시스턴트 Dayuan, WorkBuddy, CodeBuddy이며, 외부에서는 OpenRouter, Hermes, OpenCode가 언급된다. WorkBuddy와 CodeBuddy의 preview는 출시 후 2주간 무료로 제공된다.

라이선스는 상업적 이용, 수정, 재배포를 허용하며 특허 허가를 포함하는 Apache License 2.0이다. 다만 학습 데이터의 세부 내용은 공개되지 않았으며, 이 기사는 오픈 웨이트라는 표현이 더 정확하다고 본다. 자체 호스팅의 경우 활성 파라미터가 49B라 해도 전체 770B 분량의 메모리가 필요하며, FP8을 쓰더라도 가중치만으로 약 770GB가 필요하다는 추정이 제시된다. 긴 컨텍스트에서는 캐시도 함께 늘어난다.

미확인 사항도 정리되어 있다. 벤치마크 점수, 정확한 순위, 공식 가격표, 일반 공개 버전의 파라미터 수는 확보한 정보원에서 찾을 수 없다. 컴퓨터 조작 기능이나 에이전트 평가에서 승리했다고 전하는 제3자 게시물도 있으나 공식 정보로는 확인되지 않아 기사에는 채택되지 않았다. 사이버 보안 관련 제목도 본문을 확보하지 못해 판단을 유보하고 있다.