LLM 심사위원의 연구 아이디어 신규성 평가 신뢰성 검증
지금까지의 흐름
Ai2는 LLM이 과학 연구 아이디어의 참신성을 얼마나 신뢰성 있게 평가할 수 있는지 검증한 연구 「Old Ideas, Novel Problems」를 공개하고, 참신성 판정용 벤치마크, 데이터, 코드를 함께 공표했다. ICLR 2026의 심사 코멘트에서 참신성에 관한 기술을 추출해 평가 데이터를 구축했으며, GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6 등 6개 LLM 판정기를 비교했다.
Hugging Face Blog 발췌
보도 타임라인
보도를 따라가며 이슈의 여러 측면을 살펴보세요.
- Hugging Face BlogLLM은 연구 아이디어의 новизна를 제대로 판정할 수 있을까, Ai2가 벤치마크 공개
Ai2는 LLM이 과학 연구 아이디어의 참신성을 얼마나 신뢰성 있게 평가할 수 있는지 검증한 연구 「Old Ideas, Novel Problems」를 공개하고, 참신성 판정용 벤치마크, 데이터, 코드를 함께 공표했다. ICLR 2026의 심사 코멘트에서 참신성에 관한 기술을 추출해 평가 데이터를 구축했으며, GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6 등 6개 LLM 판정기를 비교했다.
이 이슈의 화제도 추이
현재 화제도 3·비교 가능한 최고치 4 (10월 29일 11:00)·24시간 비교 가능 변화 –
추이는 연속으로 빠짐없이 관측한 계정만 비교하므로 현재 화제도 수치보다 범위가 좁을 수 있습니다. 포인터를 움직이거나 차트를 누르면 시간대별 화제도를 볼 수 있고, 키보드에서는 왼쪽·오른쪽 방향키를 쓰면 됩니다.