FDE-Gym: 고객사 AI 도입 실무를 에이전트에게 평가하게 하는 벤치마크

FDE-Gym은 요구사항이 모호하고 제시되지 않은 제약을 찾아내야 하는 고객사 도입 과제에서 AI 에이전트를 평가하는 벤치마크다. 18개 업종, 20개 고객 시나리오에서 수집한 95건의 엔드투엔드 과제를 담고 있으며, 7개 회사의 13가지 구성을 평가했다. 그 결과 가장 좋은 구성에서도 평균 점수는 0.56에 그쳤고, 95건 중 14건만 해결(점수 0.8 이상이면서 사고 없음)했다. 제시되지 않은 제약의 발견이 주된 병목으로 나타났으며, 필요한 정보를 모두 얻은 23건에서도 0.8 이상에 도달한 것은 10건뿐이었다.