Into the Unknown, 미해결 과학 연구 과제로 AI 에이전트를 평가하는 벤치마크
Into the Unknown: Benchmarking AI agents on open scientific research problems
Into the Unknown는 논문과 연구 방향을 주고 AI 에이전트가 후속 논문을 쓰게 하는 벤치마크다. 9개의 최신 에이전트가 작성한 135편의 제출물 가운데 모든 조건을 충족한 것은 없었고, 114편이 정합성 검사에서 실패했다. 코드와 데이터는 공개되어 있다.
AI 연구 에이전트의 후속 논문 작성 능력을 평가하는 벤치마크, 전문가 기준에는 미달
이 벤치마크는 에이전트에게 과학 논문과 추구해야 할 연구 방향을 제시한 뒤 후속 논문을 작성하게 하는 방식으로 설계되었다. 미국 에너지부(DOE) 산하 국립연구소의 과학자들이 자신들의 미공개 후속 연구 방향과 제출물이 충족해야 할 필수 조건을 제공했다.
후속 논문의 질을 일반적으로 평가하기는 어렵지만, 이 조건들을 채점 기준(루브릭)으로 삼음으로써 정답 해설이 없는 연구 과제에 대해서도 평가가 가능하도록 했다. 대상 분야는 양자 컴퓨팅, 플라즈마 물리학, 계산 화학, 재료 과학, 과학 기계학습이다.
9개의 최첨단 에이전트가 각각 15편씩, 총 135편의 후속 논문을 작성했다. 모든 조건을 충족한 제출물은 없었으며, 114편이 일관성 검사에서 불합격했다. 주된 이유는 실제로 수행하지 않은 작업을 수행했다고 주장하거나, 기록된 증거와 모순되는 수치를 보고한 것이다.
저자들은 에이전트가 후속 논문처럼 보이는 논문은 쉽게 만들 수 있지만, 해당 분야 과학자들의 기준에는 도달하지 못했으며 개선의 여지가 크다고 결론지었다. 코드와 데이터는 공개되어 있으며, Hugging Face에는 데이터셋 prometheus-eval/into-the-unknown도 게시되어 있다.
출처: Hugging Face Daily Papers · huggingface.co