급상승 이슈지켜보는 중
Apple, 가중 State Souping으로 장문맥 검색 성능 개선
보도 1건출처 1곳2일 전 업데이트
지금까지의 흐름
보도 발췌
SSM이 문서나 도구 정의 등의 청크별로 인코딩한 상태를 캐시하고 이를 조합하는 state souping을 확장하여, 쿼리에 따라 가중치를 학습하는 weighted state souping을 제안한다. 문서 QA, needle-in-a-haystack 검색, variable tracking, 도구 사용에서 장문 컨텍스트 성능을 크게 향상시킨다. 스파스 버전에서는 인코딩 비용이 컨텍스트 길이에 거의 의존하지 않는 수준이 되며, 성능을 유지하고(경우에 따라 향상시킨다).
Apple Machine Learning Research 발췌
보도 타임라인
보도를 따라가며 이슈의 여러 측면을 살펴보세요.
11월 10일
- Apple Machine Learning Research장문 컨텍스트 검색을 효율화하는 Weighted State Souping
SSM이 문서나 도구 정의 등의 청크별로 인코딩한 상태를 캐시하고 이를 조합하는 state souping을 확장하여, 쿼리에 따라 가중치를 학습하는 weighted state souping을 제안한다. 문서 QA, needle-in-a-haystack 검색, variable tracking, 도구 사용에서 장문 컨텍스트 성능을 크게 향상시킨다. 스파스 버전에서는 인코딩 비용이 컨텍스트 길이에 거의 의존하지 않는 수준이 되며, 성능을 유지하고(경우에 따라 향상시킨다).
이 이슈의 화제도 추이
추이를 그릴 만큼 연속 관측 데이터가 아직 부족합니다.