OpenAI 등 4개 사, robots.txt의 공통 신호로 AI 학습 거부에 대응

OpenAI는 2026년 10월 30일 robots.txt에 기재되는 공통 신호를 존중하겠다고 발표했다. 이 신호를 사용하면 웹사이트 운영자는 여러 AI 제공업체에 학습 이용에 대한 같은 의사를 한꺼번에 전달할 수 있다. 기존 robots.txt에 의한 크롤러 제어도 계속 적용된다. 구현은 향후 수개월 이내에 진행할 예정이라고 한다. 10월 31일 다른 보도는 운영자가 크롤러별로 규칙을 관리하는 부담이 줄어든다고 전했다. 10월 31일 The Verge에 따르면 이 공통 신호는 "policy token"이라고 불린다. Anthropic에서 표준화를 담당하는 기술 리드 Kevin Kelley가 IETF의 틀 안에서 제안했다. robots.txt에 놓이며, 검색 인덱스, 아카이브, AI 학습 등 크롤러의 허용 여부를 지정해 온 기존 방식 위에 얹힌다. 지금까지 AI 학습 허용 여부는 각 AI 기업에 개별적으로 전달해야 했지만, 새 표준으로는 한꺼번에 설정할 수 있다. 같은 보도에 따르면 OpenAI, Google, Microsoft, Anthropic 4개 사가 채택을 밝혔다고 한다. 4개 사는 토큰을 감지하면 자사 AI 크롤러가 해당 사이트에 접근하는 것을 제한한다고 한다. 다만 Microsoft는 AI 학습 옵트아웃과 AI 그라운딩 옵트아웃을 따로 선택할 수 있는 더 세밀한 제어를 제공한다. 그라운딩이란 환각을 줄이기 위해 AI 모델을 검증된 정보원으로 향하게 하는 처리를 말한다. Microsoft는 설정과 관계없이 사이트가 Bing 검색 결과에 표시된다고 설명했다. OpenAI의 구현 시기는 "향후 수개월 이내"로 알려져 있으며, 각 사 크롤러가 실제로 언제 대응할지는 향후 발표를 기다려야 한다.

보도를 바탕으로 AI가 작성 · 5일 전 업데이트