Deep Fusion Memory: LLM을 위한 청크 단위 파라메트릭 메모리 제안

Deep Fusion Memory(DFM)는 예측된 파라메트릭 메모리를 게이트 방식 크로스 어텐션으로 중간 은닉 상태에 통합해, 추론 시 검색을 수행하지 않고도 지식 집약형 태스크의 성능을 높이는 기법이다. 토큰 단위 메모리를 구축하는 기존 기법과 비교하면, 학습 데이터 구축에 필요한 검색 쿼리는 32배, 검색 항목은 2048배 적은 것으로 알려졌다. 6개의 QA 태스크에서는 가장 강력한 베이스라인을 앞질렀으며, Mistral-7B-v0.3에서 12.71%, Qwen3-8B-Base에서 11.19%의 향상을 보였다.