HABIT-Bench, 장기간 약한 증거로부터 습관을 귀납하는 에이전트 메모리 평가

HABIT-Bench는 식사·금융·소프트웨어·여행 4개 분야에서 수백 세션에 걸친 합성 사용자 이력으로부터 에이전트가 습관을 추정할 수 있는지 평가하는 벤치마크다. Qwen3-235B-A22B와 GLM-5.3-Flash에 8가지 메모리 기법을 적용해 평가한 결과, 가장 우수한 구성에서도 4지선다 과제의 macro accuracy는 33.61%에 그쳐 무작위 추측 수준인 25%를 크게 넘지 못했다. 주석이 달린 증거를 직접 제공했을 때도 큰 오류가 남아, 관련 이력을 찾아내는 것만으로는 충분하지 않다는 점이 드러났다.