IdeaTaste: LLM은 인간 연구자와 같은 연구 감각을 갖는가

IdeaTaste 평가에서 LLM 에이전트는 연구의 대략적인 방향성에서는 인간 커뮤니티에 가까워지지만, 구체적인 접근법과 기대되는 성공 가능성에서는 크게 뒤처진다. 인용 문헌의 일치도는 인간의 약 26%, 아이디어의 일치도는 18%에 그쳤다. 6개 모델, 4개 연구 분야, 9만 건이 넘는 제안을 대상으로 했으며, 공개되어 지속적으로 갱신되는 오픈 리더보드로 제공되고 있다.