Multiverse Computing, 4비트 압축 모델 회복 기법 QAH 제안… bfloat16 버전을 9개 중 7개 벤치마크에서 상회
Quantization-Aware Healing: a compressed, 4-bit model that outperforms its full-precision original
Multiverse Computing은 압축과 양자화를 거친 모델을 회복하는 Quantization-Aware Healing(QAH)을 제안했다. GPT-OSS 120B를 60B로 압축해 MXFP4로 만든 모델이 자체 bfloat16 버전을 9개 벤치마크 중 7개에서 상회했다. 압축 전 원본 모델을 교사로 삼아 KL 발산으로 증류한다는 점이 특징이다.
QAH는 구조 압축(층, 어텐션 헤드, 뉴런 감축)과 양자화 이후에 수행하는 회복 공정의 기법이다. 기존 QAT는 태스크 손실로 재학습하므로 비용이 높고, 학습을 지나치게 이어가면 불안정해질 수 있다. QAD는 고정된 전정밀도 교사를 사용하지만, 구조 압축 후에는 독립적으로 학습된 전정밀도 소형 모델이 존재하지 않으며, 회복이 끝난 bfloat16 체크포인트를 교사로 쓰면 정확도가 그 상한에 묶인다.
QAH는 회복된 모델이 아니라 압축 전 원본 모델을 교사로 삼아 출력 로짓에 대한 KL 발산으로 증류한다. 교사는 전체 크기, 학생 모델은 절반 크기에 MXFP4 구성이지만, 출력 분포는 아키텍처에 의존하지 않아 전이가 가능하다. 양자화 단계는 bfloat16 체크포인트가 받지 못했던 교사의 감독을 얻는 2차 증류로 위치 지어진다. 32k 토큰까지의 장문 코퍼스에는 별도 논문의 청크 단위 KL 발산 손실을 차용했다.
결과에서 60B MXFP4 QAH 모델은 AA-LCR에서 42.7(bfloat16 버전은 35.3), AIME 2025에서 76.3(동 70.7) 등 7개 항목에서 상회했다. MMLU-Pro는 73.8(동 74.0), SciCode는 34.2(동 35.6)로 소폭 밑돌았다. LiveCodeBench에서는 66.5로, 120B 교사의 66.0도 넘어섰으며, GPQA Diamond는 67.4로 교사의 69.0과 1.6포인트 차까지 좁혔다.
GPT-OSS 9B를 MXFP4로 만든 비교에서는 피크 성능이 QAH 54.9, QAT 54.6으로 거의 동등했다. QAH는 약 100스텝에서 피크에 도달해 QAT의 700스텝보다 약 7배 빨랐다. QAT는 1,200스텝까지 약 19포인트 떨어졌지만, QAH는 피크에서 약 2포인트 이내에 머물렀다. 저자들은 가중치 메모리가 bfloat16 학생 모델의 약 4분의 1이 되고, 120B 교사 대비 토큰당 연산량도 약 절반이 된다고 밝혔다.
출처: Hugging Face Blog · huggingface.co