AI에 면접을 보게 하다: 벤치마크로는 측정할 수 없는 모델의 능력

저자는 공개 벤치마크 점수만으로는 용도에 맞는 AI 모델을 고를 수 없다고 보고, 이용자가 직접 모델을 시험해 평가해야 한다고 주장한다. 글쓰기 과제 사례에서 Claude 4.5 Sonnet은 뛰어난 글쓰기 모델로 알려져 있는 반면, Gemini 2.5 Pro는 사용 단어 수를 정확히 관리하지 못했다고 보고했다. 또한 벤치마크에는 공개된 테스트 문항이 학습 데이터에 섞이는 문제와, 점수 차이의 의미가 보정되지 않은 문제가 있다고 지적한다.