AWS Machine Learning Blog· Khaled Thabit·· 8일 전AI 점수38
평가 편향을 수정하고 Amazon Bedrock에서 더 나은 모델을 선정
Fix evaluation bias to unlock better models on Amazon Bedrock
AI 요약
Property Finder는 평가 라벨의 96.8%가 기존 모델의 예측에서 이어받은 것이었으며, 평가가 현행 모델 쪽으로 치우쳐 있었다고 밝혔다. 전문가가 독립적인 정답 데이터를 새로 만들고 진화적 프롬프트 최적화를 수행한 결과, Amazon Bedrock에서 정확도를 높이면서 비용을 86% 줄이는 모델을 선정했다. 평가에는 356장의 이미지를 사용했으며, 주요 지표로 Micro F1을 채택했다.
출처: AWS Machine Learning Blog · aws.amazon.com