Realtime-Bench, 실시간 대화 과제로 LLM의 약점을 검증

미국 텍사스대학교 오스틴캠퍼스 등의 연구진이 지연된 행동이 성패에 직접 영향을 미치는 실시간 대화 과제에서 LLM을 평가하는 벤치마크 「Realtime-Bench」를 구축했다. 게임과 웹을 합친 총 50개 과제로 구성된다. 최고 성공률은 GPT-6-Astra(high)의 wall clock 조건에서 36%에 그쳤으며, 시계를 멈출 수 있는 paused clock 조건에서는 추론을 강화한 모델이 70%에서 80%에 가까워진다.