급상승 이슈진행 중
Co-Design Bench에서 최고 성능 모델도 완전 달성률은 26.4%
보도 1건출처 1곳3시간 전 업데이트
지금까지의 흐름
보도 발췌
Alibaba 등의 연구팀이 실제 사용자의 변경 요청을 바탕으로 만든 코딩 에이전트용 벤치마크 「Co-Design Bench」에서, 가장 성능이 좋은 GPT-6 Astra조차 완전히 올바르게 완료한 과제는 26.4%에 그쳤다.
The Decoder 발췌
보도 타임라인
보도를 따라가며 이슈의 여러 측면을 살펴보세요.
11월 8일
- The Decoder코딩 에이전트, Co-Design Bench에서 과반이 넘는 약 4분의 3의 과제에서 수정 필요
Alibaba 등의 연구팀이 실제 사용자의 변경 요청을 바탕으로 만든 코딩 에이전트용 벤치마크 「Co-Design Bench」에서, 가장 성능이 좋은 GPT-6 Astra조차 완전히 올바르게 완료한 과제는 26.4%에 그쳤다.
이 이슈의 화제도 추이
추이를 그릴 만큼 연속 관측 데이터가 아직 부족합니다.