본문 바로가기
원문
AWS Machine Learning Blog· Bharathi Srinivasan·· 4시간 전AI 점수38

Amazon Bedrock AgentCore Evaluations로 에이전트를 평가하는 절차 및 Built-in·DeepEval·AutoEval의 구분 사용

The agent evaluation playbook: Built-in, DeepEval, and AutoEval on Amazon Bedrock AgentCore Evaluations

AI 요약

Amazon Bedrock AgentCore에서 AI 에이전트를 평가하려면 지표 이름부터 고르기보다, 비즈니스 성과를 관찰 가능한 동작으로 나눈 뒤 trace 또는 session 수준의 평가기에 할당하는 절차가 효과적이다. AgentCore에는 AWS가 품질을 검증한 내장 평가기(Builtin.GoalSuccessRate 등)에 더해, DeepEval과 AutoEval의 관리형 평가기가 제공된다. DeepEval의 PIILeakage나 KnowledgeRetention 등은 여러 턴으로 이루어진 에이전트를 평가하는 데 특히 유용한 것으로 알려져 있다.

출처: AWS Machine Learning Blog · aws.amazon.com