Apple 연구, 데이터 제약 하의 사전학습에서는 하이퍼파라미터 조정보다 이중언어 혼합이 효과적
연구에서는 데이터가 제한된 저자원 언어의 사전학습에서 고자원 언어의 데이터를 섞는 방법이 하이퍼파라미터 조정보다 성능을 크게 개선한다는 결과가 나왔다고 밝혔다. 150M에서 1.43B 파라미터까지 4개 규모에서 아랍어에 영어 데이터를 섞은 약 1000회의 사전학습을 비교했으며, 검증 손실과 하위 작업 정확도 모두에서 혼합 방식이 우위를 보였다. 혼합의 효과는 목적 언어 고유 데이터 2~3배분(검증 손실), 2~13배분(하위 작업 정확도)에 해당하며, 검증 손실만으로는 혼합의 가치가 과소평가된다.