TechCrunch AI· Lucas Ropek·· 16일 전AI 점수38
Hugging Face 정책 책임자, 내장형 AI 평가자는 간단한 해법이 아니라고 지적
Embedded AI evaluators won’t be an easy solution, Hugging Face’s policy chief says
AI 요약
Hugging Face의 Irene Solaiman 수석 정책 책임자는 AI 연구소들이 도입을 확대하고 있는 제3자 내장형 평가자가 간단한 해법이 되지는 않는다고 지적했다. 벤치마크 방법은 아직 성숙 단계에 있으며, 결과를 재현할 수 있는지는 모델 접근성, 특히 오픈 웨이트가 관건이라고 밝혔다. 평가 대상도 모델 단체에서 하네스와 에이전트를 포함한 시스템 전체로 넓어지고 있지만, 에이전트 평가는 어렵고 비용이 많이 들며 하네스를 대상으로 한 평가는 적다고 덧붙였다.
출처: TechCrunch AI · techcrunch.com