Hugging Face Daily Papers·· 10일 전AI 점수45
Co-Design Bench: 에이전트형 모델을 위한 멀티모달 협업 코딩 평가
Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models
AI 요약
Co-Design Bench는 실제 사용자의 요청에 따라 기존 애플리케이션을 수정하는 코딩 에이전트를 평가하는 벤치마크로, 273개 태스크와 2,331개의 수락 기준을 포함한다. 최상위 모델인 gpt-6-astra는 태스크 평균으로 수락 기준의 69.9%를 충족했지만, 모든 기준을 충족한 태스크는 26.4%에 그쳤다. Qwen3.8-27B는 엄격한 완료율 64.4%를 기록해 전체 4위에 올랐다.
출처: Hugging Face Daily Papers · huggingface.co