Amazon Bedrock 비용에 영향을 미치는 4가지 추론 설정 해설

프롬프트 캐시에서는 Claude Sonnet 5와 Claude Opus 5의 경우 5분 쓰기가 입력의 1.25배, 1시간 쓰기가 2배, 캐시 읽기가 0.1배로 명시되어 있다. 같은 프리픽스에 대한 요청 간격이 5분을 넘으면 1시간 캐시가 1시간 내 두 번째 요청부터 유리해진다. 캐시를 쓰지 않는 것보다 저렴해지려면 1시간에 3회의 요청이 필요하다고 한다. 시스템 프롬프트나 도구 정의를 바꾸면 캐시 읽기가 0이 되고 새로운 쓰기가 발생했다. 멀티테넌트 환경에서는 테넌트 고유의 SHA-256 해시를 프리픽스 앞에 붙이는 방법이 제시되어 있다. 서비스 티어에서는 Flex를 지원하는 모델에서 serviceTier에 flex를 지정할 수 있다. Amazon Nova 2 Lite와 OpenAI gpt-oss-120b는 지원하며, Claude Sonnet 5와 Claude Opus 5는 미지원이다. 미지원 모델에 요청하면 ValidationException이 발생한다. Nova 2 Lite에서 default와 flex로 각각 200건씩 요청을 보낸 검증에서는 처리 토큰 수가 같았고, 레이턴시 중앙값의 차이는 노이즈와 구별되지 않았다. 작성 시점에 us-west-2의 Flex 요금은 Standard의 절반이었으며, 청구액도 이와 일치했다. 추론 effort에서는 추론 토큰이 출력 토큰으로 과금된다. Claude Sonnet 5와 Claude Opus 5는 기본적으로 high의 adaptive thinking을 사용하며, Claude Haiku 5.5의 기본값은 medium이다. Claude Opus 5의 도구 호출 agent 테스트에서는 모든 effort에서 24회 중 24회가 정답이었다. 출력 토큰 중앙값은 low 936, medium 1,484, high 2,521, xhigh 2,964, max 3,762였다. 코드 생성 과제에서는 low와 high의 차이가 실행마다의 편차 범위 안에 있었다. maxTokens는 출력의 상한으로 작동한다. Claude Sonnet 5의 일반 출력 최대가 103토큰이었기 때문에 155토큰의 상한을 설정했다. 의도적으로 장황하게 만든 프롬프트에서는 2,048토큰 상한일 때 2,048토큰이 생성되었고, 155토큰 상한일 때는 155토큰에서 멈춰 1,893토큰을 줄일 수 있었다. 다만 두 경우 모두 도중에 잘렸으며, 다중 턴이나 agent 체인에서는 중간에 잘린 턴이 후속 단계를 망가뜨릴 우려가 있다. 운영 환경에서는 작업 유형별로 P95나 P99를 기준으로 여유를 두고, max_tokens에 의한 중단을 모니터링할 것이 권장된다.

AWS Machine Learning Blog 발췌