뉴욕대와 텍사스대 오스틴캠퍼스, AI 문장을 읽기 어렵게 만드는 여섯 가지 패턴 규명

연구진은 14개의 언어 모델에 일상 대화, 코딩 세션, 논증형 에세이를 생성하게 했다. 대상에는 Claude, GPT-5.6, GLM-5, Kimi K2.5와 함께 Llama, Olmo 등 소형 오픈소스 모델이 포함됐다. 대화 120건, 코딩 세션 45건, 에세이 980편을 분석해 영화 자막, StackExchange, 학생 에세이 같은 인간의 글과 비교했다.

여섯 가지 패턴은 인간의 글에서는 드문 단어 조합의 빈번한 사용, 주어와 술어가 긴 절로 떨어져 있는 구조, 접속어를 생략한 축약된 지시, 명사를 겹겹이 쌓은 표현, 명사의 동사화, 무생물 주어에 유생물 동사를 적용하는 방식이다. 예로 Claude Opus 5가 생성한 "The whole conversation is eating its own tail"과 Claude Fable 5의 "calendar it"이 제시됐다. 의미는 짐작할 수 있지만 읽는 사람에게 불필요한 부담을 준다고 한다.

모델 간 차이도 크다. Llama와 Olmo의 베이스 모델이 인간의 글에 가장 가깝다. Olmo 계열에서는 베이스 모델, instruct 버전, 추론 모델 Olmo Think 순으로 점수가 올라가며, 이는 포스트 트레이닝 때문으로 보인다. 반면 Claude Opus 5.5는 21개 항목 중 19개에서 Opus 5를 앞질렀고, 목표를 좁힌 파인튜닝으로 가독성을 개선할 수 있음을 시사한다.

연구진은 원인으로 수학, 코드, 논리 추론처럼 정답만이 보상이 되는 과제에서의 학습이 늘어난 점을 든다. RLHF에서 RLVR로 옮겨 가면서 사람의 피드백이 빠지고, 정보 압축에는 유리하지만 사람이 읽기 어려운 "방언"이 생겨났다는 것이다. 개념 증명에서는 짧은 답변에 보상을 주는 페널티 항으로 소형 모델을 학습시켰더니, 조건에 따라 문맥과 무관하게 짧은 표현을 고르게 됐다. 사람은 상황에 맞게 표현을 골라 쓰고 있었다.

업계 내부에서도 비슷한 설명이 나온다. Claude의 파인튜닝에 참여하는 Anthropic의 Jackson Kernion은 Opus 4.6이 Anthropic의 마지막 좋은 "라이팅 모델"이었다고 설명했다. 수학, 코드, 다른 AI를 위한 기술적 설명에 최적화한 결과 AI에게는 잘 작동했지만 사람에게는 밀도가 높고 부자연스러운 문체가 됐다는 것이다. Opus 5.5에서는 문장의 명료성과 정보 밀도 문제를 처음으로 다뤘다.