StateBench, 장문 문서에서 언어 모델의 상태 추적 능력을 측정하는 벤치마크

Hugging Face가 장문 문서 안 개체(엔티티)의 상태 변화를 언어 모델이 어디까지 추적할 수 있는지 측정하는 벤치마크 'StateBench'를 공개했다. 난이도는 4단계로 나뉘며, 변수에 값을 대입하는 방식에 따라 갱신 연산의 복잡도가 달라진다. Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol, Luna 같은 프런티어 모델은 입력이 길어지면 까다로운 형식의 상태 추적에서 무너졌다. 반면 순환(recurrent)형과 하이브리드형 모델은 Transformer보다 더 먼 길이까지 일반화할 수 있었다고 한다.