Cola2, 연속적 의미 압축과 이산 생성을 통합한 계층형 언어 모델

Cola2는 연속적 잠재 표현을 통한 의미 압축과 이산 텍스트 생성을 공동으로 최적화하는 계층형 언어 생성 프레임워크다. 수렴하지 않은 체크포인트는 8개 태스크 평균 60.10을 기록했으며, HellaSwag와 StoryCloze에서는 Llama-3-8B를 앞질렀다. 비교 대상인 Llama-3-8B는 사전 학습 예산이 43배 이상 큰 것으로 보고됐다.