본문 바로가기
급상승 이슈진행 중

Amazon Bedrock AgentCore의 에이전트 평가 방법

보도 1건출처 1곳4시간 전 업데이트

지금까지의 흐름

보도 발췌

Amazon Bedrock AgentCore에서 AI 에이전트를 평가하려면 지표 이름부터 고르기보다, 비즈니스 성과를 관찰 가능한 동작으로 나눈 뒤 trace 또는 session 수준의 평가기에 할당하는 절차가 효과적이다. AgentCore에는 AWS가 품질을 검증한 내장 평가기(Builtin.GoalSuccessRate 등)에 더해, DeepEval과 AutoEval의 관리형 평가기가 제공된다. DeepEval의 PIILeakage나 KnowledgeRetention 등은 여러 턴으로 이루어진 에이전트를 평가하는 데 특히 유용한 것으로 알려져 있다.

AWS Machine Learning Blog 발췌

보도 타임라인

보도를 따라가며 이슈의 여러 측면을 살펴보세요.

11월 11일
  1. AWS Machine Learning Blog
    Amazon Bedrock AgentCore Evaluations로 에이전트를 평가하는 절차 및 Built-in·DeepEval·AutoEval의 구분 사용

    Amazon Bedrock AgentCore에서 AI 에이전트를 평가하려면 지표 이름부터 고르기보다, 비즈니스 성과를 관찰 가능한 동작으로 나눈 뒤 trace 또는 session 수준의 평가기에 할당하는 절차가 효과적이다. AgentCore에는 AWS가 품질을 검증한 내장 평가기(Builtin.GoalSuccessRate 등)에 더해, DeepEval과 AutoEval의 관리형 평가기가 제공된다. DeepEval의 PIILeakage나 KnowledgeRetention 등은 여러 턴으로 이루어진 에이전트를 평가하는 데 특히 유용한 것으로 알려져 있다.

이 이슈의 화제도 추이

현재 화제도 9·비교 가능한 최고치 10 (11월 11일 09:00)·24시간 비교 가능 변화 –

02.557.51011월11일11월11일11월11일11월11일

추이는 연속으로 빠짐없이 관측한 계정만 비교하므로 현재 화제도 수치보다 범위가 좁을 수 있습니다. 포인터를 움직이거나 차트를 누르면 시간대별 화제도를 볼 수 있고, 키보드에서는 왼쪽·오른쪽 방향키를 쓰면 됩니다.