The Decoder· Jonathan Kemper·· 4시간 전AI 점수47
코딩 에이전트, Co-Design Bench에서 과반이 넘는 약 4분의 3의 과제에서 수정 필요
AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test
AI 요약
Alibaba 등의 연구팀이 실제 사용자의 변경 요청을 바탕으로 만든 코딩 에이전트용 벤치마크 「Co-Design Bench」에서, 가장 성능이 좋은 GPT-6 Astra조차 완전히 올바르게 완료한 과제는 26.4%에 그쳤다.
출처: The Decoder · the-decoder.com