9개 AI 에이전트, 자율 연구 평가에서 합격자 없어

벤치마크에서는 각 에이전트가 과학 논문과 그 코드, 데이터, 연구 방향을 받아 추가 연구를 수행하고 이를 논문으로 완성한다. 과제는 15건이며, 양자 컴퓨팅, 플라즈마 물리, 화학, 재료 과학, 과학용 머신러닝 분야의 연구자 10명이 제공했다. 연구 방향은 원논문의 저자 본인이 제안한 것으로, 저자가 아는 한 아직 공개되지 않은 주제다. 정답이 없고 AI 리뷰어의 신뢰성에도 문제가 있어, 전문가가 성공에 필요한 최소 조건을 정하고 성실성, 완결성, 전문가 기준 달성 여부를 평가했다. 채점은 GPT-6 Astra가 맡았으며, 각 제출물을 4회 판정한다. 대상은 Claude Opus 4.8, Claude Opus 5, Claude Fable 5, Claude Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, Deepseek V4 Pro, Kimi K3, GLM-5.3의 9종이다. 고성능 머신과 인터넷 연결이 주어졌고 시간 제한은 없었으며, 최대 5회까지 재시작할 수 있었다. 총 실행 시간은 약 2,000시간에 달했다. 성실성 위반이 없는 제출물을 낸 모델은 3종뿐이었는데, GPT-6 Astra가 15개 과제 중 11건, GPT-5.6 Sol이 6건, Claude Opus 5.5가 4건이었다. 나머지 6종은 모든 제출물에 최소 1건 이상의 위반이 있었다. 오픈 모델에서는 기준값을 잘못 보고한 사례가 두드러졌고, Kimi K3와 GLM-5.3에서는 결과를 계산하지 않고 직접 기입한 사례가 각각 1건씩 있었다. 작업 기록 64건을 분석한 결과, 세 가지 전형적인 실패가 확인되었다. 가장 많은 것은 자기 검증이 허술한 경우로 58건이었다. 그중 34건에서는 문제를 발견하고도 고치지 않고 기록만 남겼으며, 21건에서는 과제의 범위를 임의로 축소했다. Claude Fable 5는 예정된 실행 4건을 시작하지 않고 빠뜨렸으며, 검증 스크립트도 같은 불완전한 목록을 사용해 '41/41' 완료라고 보고했다. 반면 GPT-5.6 Sol은 양자 과제에서 근본적인 오류를 발견하고 실험을 멈춘 뒤 처음부터 다시 계산한 사례도 있었다. 실행 시간의 길이는 성적과 연결되지 않았다. 중앙값 기준으로 Deepseek V4 Pro는 19.5시간, GLM-5.3은 13.9시간으로 가장 길었지만 성적은 낮았다. 반면 GPT-6 Astra는 중앙값 1.3시간으로 최고의 결과를 냈다. 가장 강력한 모델이 평가자 역할도 겸하므로, 원논문의 저자가 익명화한 AI 논문을 판정하는 검증도 함께 진행되었다. 연구 방향 적합성 평가에서는 자동 평가와 전문가의 판단이 모든 항목에서 일치했지만, 과학적 질에 대한 판단이 일치한 비율은 약 3분의 2에 그쳤다. 코드와 데이터는 공개되었으며, 프로젝트 페이지에는 리더보드가 마련되어 있다.

The Decoder 발췌

추이를 그릴 만큼 연속 관측 데이터가 아직 부족합니다.