Claude Platform, 장시간 에이전트용 message threads 퍼블릭 베타 제공

Make long-running agents faster with message threads

AI 요약

Anthropic은 Claude Platform에서 message threads를 퍼블릭 베타로 제공하기 시작했다. 에이전트가 매 턴마다 전체 대화 기록을 다시 보내지 않고 이전 이후의 새 항목만 보낼 수 있게 되어, 장시간 세션의 지연이 줄어든다. Claude Code에서는 많은 사용자에게 기본으로 활성화되었으며, 500k~1M 토큰 요청에서 첫 토큰까지의 시간(TTFT) 중앙값이 약 35% 감소했다.

자세히

message threads를 사용하려면 Messages API 요청에 `thread` 파라미터를 추가한다. 첫 요청에서는 대화 전체를 보내 스레드를 시작하고, 이후에는 새 메시지와 직전 응답 ID만 보낸다. 코딩 에이전트는 한 세션에서 수백 번의 요청을 보내는 경우가 있으며, 기존에는 매번 모든 과거 메시지와 도구 결과를 다시 보내야 했다. 대화가 수십만 토큰에 이르면 이 재전송으로 인해 Claude가 응답을 시작하기까지의 대기 시간이 늘어났다.

스레드는 턴 사이에 메모리에 유지되며 암호화되고 디스크에는 기록되지 않는다. 마지막 요청으로부터 5분이 지나면 만료되며, 이후에는 클라이언트가 대화 전체를 다시 보내 새 스레드를 시작해야 한다. 각 요청의 크기는 작아지지만, Claude는 매 턴마다 대화 전체를 읽기 때문에 토큰 사용량은 달라지지 않는다.

출처: Claude Blog · claude.com