평가 출처공식 사이트
Long-Horizon Terminal-Bench
Tencent HY, Lehigh 외 / 코딩 · 오랜 시간 터미널을 계속 사용하며 복잡한 엔지니어링·도구 과제를 해냅니다.
클로데이트 반영 상태관찰 중
가중치점수 미반영
원본 데이터 기준 시각미확인
마지막 동기화아직 수집 전
무엇을, 어떻게 측정하나
90분, 2시간, 3시간 예산별로 비교합니다. 수정 전후의 판정 프로토콜은 섞을 수 없고, 서로 다른 Agent의 최고 결과를 통일된 모델 결과로 취급할 수도 없습니다.
활용 방식
후보로 관찰 중: 수정된 프로토콜을 명시한 새 배치를 기다립니다. 기존의 옛 점수는 공개 순위에 자동 수집하지 않으며 채점도 하지 않습니다. 그렇다고 옛 결과가 모두 취약점을 이용했다고 단정하지는 않습니다.
한계와 데이터 출처
공식 측은 판정 정보 유출을 공표했습니다. 현재로서는 기존 결과가 판정을 격리한 뒤 같은 프로토콜로 얻은 것임을 증명할 수 없습니다. 일부 과제가 다른 전문 평가와 출처가 겹치는지는 확인 대기.
데이터 라이선스: Apache 2.0 · 공식 IntelligenceLab/LHTB-leaderboard 결과 데이터셋. 출처 표시와 변경 내용 설명을 남깁니다.
Tencent HY, Lehigh 외에서 공개한 결과입니다. 원래 점수와 클로데이트 합의 지수는 척도가 달라 직접 비교하거나 더할 수 없습니다.