CrossSWE, 코딩 에이전트의 크로스 리포지토리 공동 개발을 평가하는 벤치마크

CrossSWE는 상호 의존적인 여러 리포지토리에 걸친 공동 개발을 평가하는 벤치마크로, 165개 리포지토리, 20개 기술 분야, 13개 프로그래밍 언어에 걸친 171건의 사례를 포함한다. 5개의 LLM을 평가한 결과, 가장 성능이 높은 GPT-6.1 Sol도 Pass@1은 58.48%에 그쳤다. 가장 많은 실패 유형은 리포지토리 간 불일치로, 전체의 44.2%를 차지했다.