AI 에이전트 평가를 「바이브 체크」에서 벗어나게 하는 방법

AI 에이전트는 루프에 빠지거나 토큰을 과도하게 소비하고, 그럴듯하지만 틀린 답을 내놓아도 겉보기에는 문제가 없어 보이기 때문에 눈으로 확인하는 방식(바이브 체크)으로는 결함을 잡아내기 어렵다고 지적한다. 대안으로 중요한 사용자 여정(CUJ)을 평가 기준으로 삼고, 시뮬레이션된 사용자로 골든 데이터셋을 만든 뒤 점차 실제 운영 트레이스로 교체하는 방법을 제시한다. 평가는 유닛 테스트, 결정적 메트릭, LLM-as-a-judge, 통합 테스트의 4계층으로 수행하며, judge의 채점은 가능한 한 1~5점 척도 대신 합격/불합격의 이진 판정으로 하기를 권장한다.