ttok 1.0 출시, 기본 토크나이저를 GPT-5/GPT-6 계열로 변경

Simon Willison이 ttok 1.0을 공개하고 기본 토크나이저를 GPT-4에서 GPT-5/GPT-6 계열로 전환했다. OpenAI는 GPT-6이 GPT-5 계열과 같은 토크나이저를 쓰는지 아직 확인하지 않았다. 다만 William Liu의 실험에서는 GPT-5.5, GPT-5.6, GPT-6을 포함한 총 7개 모델이 31개 픽스처 모두에서 44,794 토큰으로 일치했다. 이 코퍼스에서는 GPT-6에 의한 입력 토큰 수 변화가 나타나지 않았다.