Hugging Face, ICML 2026 논문 2,226편을 에이전트로 재현한 결과 공개

해커톤은 7월 15일부터 8월 2일까지 19일 동안 진행되었으며 1,221명이 참여했다. 참가자들은 Claude Code, Codex, Cursor, OpenResearch의 orx 등 각자의 코딩 에이전트를 사용해 논문의 주장을 하나씩 재현했다. 결과는 6,816건의 Trackio 로그북으로 공개되었고, 2,226편이 대상이 되었다. 이는 채택 논문 전체의 34%에 해당한다. 판정은 오픈 웨이트 모델 GLM-5.2를 사용한 자동 Logbook Judge가 맡았으며, verified, falsified, toy, inconclusive의 네 가지 범주로 35,908건의 주장을 평가했다. 각 로그북의 자체 평가는 신뢰하지 않도록 설정되었다. 참가자에게는 HF Jobs용 20달러 상당의 컴퓨팅 크레딧이 지급되었고, 2,962건의 작업이 실행되었다.

집계 결과, 1,103편에서 최소 1건의 주장이 검증되었고, 그 가운데 266편은 모든 주장이 검증되었다. 496편에서는 최소 1건이 반증되었거나 쟁점이 되었으며, 242편에서는 독립된 재현 팀들이 같은 주장에 대해 정반대의 판정을 내놓았다. 502편은 축소된 규모의 증거만 있었고, 280편은 산출물 누락 등으로 판단할 수 없었다.

반증 사례로, Learning-Augmented Paging 논문에서는 증명의 오류가 지적되었고 실제 로버스트성은 Hk+Θ(log k)로 제시되었다. Attention 논문에서는 3개 팀이 반례를 제시했고, 저자는 같은 날 이를 확인하고 수정 작업에 들어갔다. Self-Distillation 논문은 이론에서 역KL을 다루지만 코드의 기본값은 순KL이었다. Do Transformers Need Three Projections? 논문에서는 평가에 EOS 패딩이 약 66% 포함되어 3.1%로 제시되었던 품질 저하가 보정 후 약 9.4%가 되었다. 한편, 재현 측의 산술 실수로 잘못된 반증이 나온 사례도 발견되었다.

저자에게 연락하는 작업도 시작되었으며, 여러 논문에서 지적 사항이 확인되었고 2건의 arXiv 수정이 진행 중이다. 사람의 역할과 관련해서는, 에이전트가 국소적인 루프에 빠지거나 규모에 따른 동작을 잘못 해석하는 점을 들며, 사람이 방향을 바로잡은 워크플로가 가장 신뢰할 수 있었다고 밝혔다. 이미지 생성 논문에서는 사람이 128쌍의 이미지를 직접 눈으로 판단했다. 보고서는 사람이 연구실을 정돈하는 지도자처럼 환경을 마련하고 적절한 질문을 던지는 역할을 맡는다고 맺고 있다.