Anthropic, Claude 플랫폼에 「Message Threads」 퍼블릭 베타 추가… 긴 대화의 첫 토큰까지 시간 약 35% 단축

Anthropic's Message Threads cut time to first token by 35 percent for long conversations

AI 요약

Anthropic이 Claude 플랫폼에서 Message Threads의 퍼블릭 베타를 시작했다. 직전 메시지 이후의 차분만 전송하는 방식으로, 50만~100만 토큰 요청에서 첫 토큰까지 걸리는 시간이 약 35% 줄어든다고 Anthropic은 설명했다. 토큰 사용량은 변하지 않는다.

자세히

이전에는 API 요청마다 대화 기록 전체를 다시 보내야 했다. Message Threads에서는 직전 메시지 이후에 추가된 내용만 전송한다. Anthropic에 따르면 50만~100만 토큰 요청에서 첫 토큰까지의 시간이 약 35% 짧아진다.

특히 혜택이 큰 것은 코딩 에이전트, 컴퓨터 조작 에이전트, 대량의 문서나 이미지를 다루는 워크플로로 알려져 있다. 스레드는 요청 사이에 암호화된 상태로 메모리에 보관되며, 5분 동안 조작이 없으면 만료된다.

출처: The Decoder · the-decoder.com