OpenDS-World, 실제 웹 환경에서 심층 검색 에이전트를 평가하는 벤치마크

OpenDS-World는 실제 웹에서 다단계 심층 검색을 수행하는 에이전트를 평가하는 벤치마크로, 200개의 과제를 포함한다. 12개의 프런티어 모델을 통합 도구 환경에서 평가한 결과 최고 정확도는 39.0%로, 1,000회의 독립적인 시도에서 나온 인간의 정확도 21.1%를 웃돌았다. 도구 활용, 검색 비용, 실패 후 회복에 대한 분석에서는 모델마다 연구 전략이 크게 달랐으며, 도구 연계와 장기적인 검색 관리에는 여전히 과제가 남아 있음이 드러났다.