AdaExploreBench, 변화하는 환경에서 LLM 에이전트의 능동적 탐색과 적응 평가

AdaExploreBench는 LLM 에이전트가 숨겨진 환경 규칙을 능동적으로 발견하고, 통보 없이 변하는 규칙에 적응할 수 있는지 평가하는 벤치마크다. 8개 LLM을 대상으로 한 실험에서 GPT-6 Sol조차 보정 정확도가 61.9%에 그쳤으며, 충분한 증거를 제공하거나 규칙 드리프트를 제거하면 평균 성능이 약 10% 향상됐다. 에이전트는 유용한 증거가 주어지면 추론할 수 있지만, 적절한 증거를 능동적으로 확보하거나 이전 지식이 더 이상 유효하지 않다는 사실을 인식하는 데에는 어려움을 겪는 것으로 나타났다.