TPU에서 비디오 확산 모델의 Spatio-Temporal Attention을 고속화

Sparse VideoGen(SVG)의 공간·시간 마스크로 얻는 이론상의 스파스성을 TPU에서 실제 엔드투엔드 고속화로 연결하는 기법을 해설한다. 81프레임 720p 동영상의 시퀀스 길이는 인기 오픈소스 동영상 생성 모델에서 50K에서 400K에 이르며, 720p에서 1440p로 해상도를 높이면 단일 레이어 Attention의 지연 시간이 차지하는 비중은 55.5%에서 88.2%로 증가한다. 스파스 버전은 단일 TPU v6e에서 커널을 측정한 결과 쿼리·키 쌍의 약 38.87%만 보존하여 계산한다.