FrontierPhysics, AI 에이전트의 엔드투엔드 물리 연구를 평가하는 벤치마크

FrontierPhysics는 문헌 검토, 연구 계획, 실험, 논문 작성까지를 end-to-end로 평가하는 벤치마크다. 물리학자 42명이 자신의 연구를 바탕으로 만든 56개 과제로 구성되며, 규칙 기반 검증기와 전문가가 작성한 루브릭으로 채점한다. 22개 모델(26개 구성)을 평가한 결과, 어떤 구성도 168회 시도 중 46회를 넘게 합격하지 못했다. 주된 약점은 물리학 지식 부족이나 실행 실수가 아니라, 추론의 엄밀성 부족과 전문가적 직관의 한계로 지적된다.