Google Research, LLM 사실성의 병목은 부호화가 아니라 회상이라고 지적

연구팀은 개별 질문이 아니라 사실을 단위로 분석하는 지식 프로파일링을 제안했다. 사실을 부호화 실패, 회상 실패, 직접 회상, 사고를 통한 회상, 부호화 없는 추론이라는 5가지 프로파일로 분류한다. 부호화는 사전학습에 가까운 맥락에서의 명제 완성과 문맥이 있는 질문으로 측정하고, 지식은 패러프레이즈나 역방향 질문에도 정답을 내놓는지로 판정한다.

평가를 위해 Wikipedia에서 추출한 2,150건의 사실로 구성된 벤치마크 WikiProfile을 구축했다. 각 사실에는 부호화 질문 2개, 지식 평가 질문 4개, 인식용 객관식 질문 4개, 총 10개의 질문이 붙는다. 제작은 Gemini-2.5-Pro(사고 활성화)를 사용한 자동 파이프라인으로 진행했으며, 검색 엔진 기반 필터링과 최종 수작업 검증을 거쳤다. 13개의 LLM을 사고 사용 여부 양쪽에서 평가했고, 각 조건에서 8회 샘플링해 약 450만 건의 응답을 자동 채점했다.

그 결과 Gemini-2.5-Pro, Gemini-3-Pro와 Flash, GPT-5 같은 최첨단 모델에서는 부호화가 거의 포화 상태였다. Gemma 3 계열에서는 모델이 커질수록 부호화 실패가 크게 줄지만, 회상 실패는 남아 남은 오류에서 차지하는 비중이 커진다. 스케일링은 보존되는 지식을 늘리지만, 접근 가능한 지식의 개선은 작다는 해석이 된다.

회상이 어려워지는 조건으로는 학습 때의 맥락, 표현, 순서에서 질문이 멀어지는 경우가 꼽힌다. 인기가 낮은 사실은 인기가 높은 사실과 비슷한 수준으로 부호화되어 있지만 회상에서는 큰 차이가 난다. 역방향 질문은 자유 생성에서는 어렵지만, 객관식 인식에서는 정방향과 같은 수준이거나 오히려 쉽다. 이 때문에 역전의 저주는 회상의 문제라고 여겨진다.

사고는 회상이 약한 영역일수록 효과가 커서, 사고 최적화 모델에서는 부호화되어 있지만 직접 답할 수 없는 사실의 약 40–65%를 되살린다. 부호화되지 않은 사실에 대한 효과는 작아, 사고는 복잡한 다단계 추론보다는 회상을 촉진하는 장치로 작동한다고 해석된다. 다만 계산 비용이 들고, 언제 사고를 호출해야 하는지는 분명하지 않다. 앞으로 사실성의 향상은 스케일링뿐 아니라 이미 부호화된 지식을 잘 활용하는 방향에서도 나올 수 있다고 결론짓는다.