스탠퍼드 연구, LLM 관련 유명 지식의 44%가 이미 효력을 잃었다고 보고

검증에는 2024년 7월부터 2026년 9월까지 8개 회사가 공개한 모델이 사용됐다. 결과는 효력 상실이 44%, 크게 약해진 것이 34%, 현재도 성립하는 것이 16%, 오히려 강해진 것이 6%였다. 1년 뒤 시점에 효력을 잃은 것은 16%였고, 2년 뒤에는 39%로 늘었다.

분야별로는 모델이 할 수 없는 일을 보여주는 주장일수록 빨리 효력을 잃었다. 추론 관련 9건 중 5건이 효력을 잃었고, 나머지 4건도 약해졌으며, 성립하거나 강해진 것은 없었다. 'strawberry'의 글자 수 세기, 낯선 수 체계에서의 산술, 긴 컨텍스트 중간부의 정보 누락, 사용자의 반박에 정답을 철회하는 행동 등이 포함됐다. 연구자들은 이러한 오류에는 명확한 정답이 있어 개발사가 학습으로 겨냥하기 쉽기 때문이라고 추측하고 있다.

남기 쉬운 것은 경향이나 선호에 관한 지식이다. 성립하거나 강해진 11건 중 3건은 LLM이 평가자로 일하는 장면에 관한 것으로, 자신의 답변을 선호한다, 채택된 논문과 채택되지 않은 논문을 같은 정도로 평가한다, 의학 초록의 표현에 좌우된다는 내용이다. 아첨에 관한 3건, 왼쪽으로 치우친 정치적 편향, 자유 응답의 유사성, 난수 생성의 편향도 남아 있다.

사례로 과학 문헌의 인용 날조를 조사했다. 2023년 Walters and Wilder의 연구에서는 GPT-3.5가 참고문헌의 55%를 날조했지만, 같은 프롬프트에서 GPT-6.1 Sol은 0%, Claude Sonnet 5.5는 1%였다. 반면 같은 2026년 모델이라도 Qwen3.7-Flash는 69%를 날조했다. 2단계 추론 문제에서도 Claude Sonnet 5.5는 개별 2문제에 정답을 맞힌 경우의 약 10%에서 실패한다. 원 논문의 ChatGPT는 43%였다.

모델 간 차이도 크다. 2026년 7월부터 9월에 공개된 모델에서는 효력을 잃은 지식의 수가 DeepSeek V4 Pro의 11건에서 GPT-6.1 Sol의 30건까지 벌어졌다. 공개 시기, 제공사, 모델 크기 모두 경향을 확실하게 예측하지 못한다. 저자들은 LLM에 관한 실증적 지식은 특정 시점의 특정 모델에 대한 관찰로 제시해야 하며, 모델, 버전, 날짜를 명시하고 프롬프트와 분석 코드도 공개해야 한다고 결론지었다.