Apple, 세 가지 모달리티 Masked Diffusion Models의 설계 공간을 대규모로 분석

Apple 연구진이 텍스트, 이미지-텍스트 쌍, 음성-텍스트 쌍으로 사전 학습한 최초의 세 모달리티 Masked Diffusion Models(MDM)를 발표하고 그 설계 공간을 체계적으로 분석했다고 밝혔다. 예비 모델은 3B 규모에 6.4T 토큰으로 학습했으며, 텍스트 생성, T2I, T2S 각 과제에서 강력한 결과를 얻었다고 한다. 또한 물리적 배치 크기와 논리적 배치 크기를 분리하는 SDE 기반 재매개변수화를 적용해 최적 배치 크기를 조정할 필요를 없앴다고 보고했다.