Test-time Regression 기반 시퀀스 압축 재고: TTR-Compressor

TTR-Compressor는 기존의 풀링(pooling)이나 프로젝션 기반 압축을 대체할 수 있는, 우수하고 완전히 실용적인 기법으로 제안되었다. 효율적인 LLM의 블록 단위 희소 어텐션(sparse attention)을 위한 압축기로서, 그리고 MLLM의 VL 프로젝터(merger)로서 강력한 실험적 개선을 보여준다. 동영상·음성의 시간 방향 압축, 처음부터 학습하는 효율적인 ViT, 깊이 방향 압축 등으로의 응용도 향후 탐색 과제로 제시되었다.