장문 컨텍스트 검색을 효율화하는 Weighted State Souping

SSM이 문서나 도구 정의 등의 청크별로 인코딩한 상태를 캐시하고 이를 조합하는 state souping을 확장하여, 쿼리에 따라 가중치를 학습하는 weighted state souping을 제안한다. 문서 QA, needle-in-a-haystack 검색, variable tracking, 도구 사용에서 장문 컨텍스트 성능을 크게 향상시킨다. 스파스 버전에서는 인코딩 비용이 컨텍스트 길이에 거의 의존하지 않는 수준이 되며, 성능을 유지하고(경우에 따라 향상시킨다).