IQuest-Q1, 에이전트형 CLI 시스템을 위한 기반 역량 강화

IQuest-Q1은 총 파라미터 320B(활성화 15B)의 희소 MoE 구조를 갖춘 에이전트용 기반 모델로, 사전 학습, 중간 학습, 사후 학습의 다단계 학습을 통해 에이전트형 코딩과 범용 능력을 강화했다. 사전 학습에서는 Stable SplitNorm, Muon, muP를 결합했으며, 사후 학습에서는 SFT, 도메인 특화 RL, MOPD를 여러 스캐폴드에서 활용했다. 각 단계의 체크포인트와 전문가 모델은 모델 병합으로 통합되어 오픈소스 모델로 공개됐다.