Hugging Face Daily Papers·· 20일 전AI 점수44
OR-License, LLM 에이전트의 실무 운영 연구(OR) 능력을 평가하는 벤치마크
OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners
AI 요약
OR-License는 LLM 에이전트가 고객의 원자료로부터 실무 수준의 운영 연구(OR) 과제를 풀 수 있는지를 평가하는 벤치마크다. 11개의 최첨단 LLM을 비교한 결과, 일부는 조건부 목적 품질에서 전문가 해법을 넘어섰으나, 실행 가능성을 고려한 품질(DAQ)에서는 어느 모델도 전문가 수준에 도달하지 못했다. 최고 성능을 보인 Claude Code 구성은 엄밀한 실행 가능성 88.39%, DAQ 0.87(전문가 기준 1)을 기록했다.
출처: Hugging Face Daily Papers · huggingface.co