Google Research Blog·· 2026년 4월 1일AI 점수40
Google Research, AI 벤치마크에 필요한 평가자 수 검증
Building better AI benchmarks: How many raters are enough?
AI 요약
Google Research는 AI 평가에서 항목 수와 항목별 평가자 수 중 어느 쪽을 우선해야 하는지 검증했다. 다수결과의 일치를 살펴볼 때는 항목 수를 늘리는 편이 효과적이며, 의견의 폭을 포착하려면 평가자 수를 늘려야 한다. 기존의 1~5명이라는 기준은 불충분한 경우가 많으며, 총 약 1,000건 규모의 어노테이션이라도 적절히 배분하면 재현성이 높은 결과를 얻을 수 있다고 밝혔다.
출처: Google Research Blog · research.google