본문 바로가기
원문
Hugging Face Daily Papers·· 11일 전AI 점수42

Continual Learning Exam(CLE): LLM 에이전트의 장기 지속 학습을 평가하는 벤치마크

Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents

AI 요약

Continual Learning Exam(CLE)는 LLM 에이전트의 장기적인 지속 학습과 경험 기반 자기 개선을 평가하는 대규모 벤치마크다. 50명 이상의 도메인 전문가가 구축했으며, 12개 분야 89개 직종에 걸친 120개의 실무 과제, 600단계의 진행 레벨, 약 24K개의 실제 파일, 19개의 상태 유지형 애플리케이션, 16K개 이상의 사람이 작성한 평가 기준을 포함한다. 17개의 프런티어 에이전트 구성을 평가한 결과, 최상위인 Claude Code + Opus 5조차 레벨 완료율은 47.7%, Task Ladder 전체 완료율은 23.3%에 그쳤다.

출처: Hugging Face Daily Papers · huggingface.co