Postman, Amazon Bedrock에서 4000만 명을 위한 Agent Mode 운영 설계 패턴 해설

Agent Mode는 테스트, 문서화, 탐색, 구현을 AI 네이티브 방식으로 진행하기 위한 Postman의 진입점이다. 11년 동안 화면 조작을 전제로 발전해 온 제품이기 때문에, 에이전트가 데이터를 바탕으로 추론하도록 하려면 구조적인 전제를 다시 검토해야 했다. 애플리케이션을 변경하는 작업에는 사용자 승인을 요구하고, 작업별로 도구를 좁혀서 제공한다. 기업 관리자는 Amazon Bedrock Guardrails를 활성화해 개인정보가 LLM에 전달되기 전에 마스킹하도록 설정할 수도 있다.

도구에 대해서는 처음에 세분화된 작은 도구를 많이 준비했지만, 호출 순서가 길어지면서 체감 속도가 느려졌다. Postman의 테스트에서는 보이는 도구가 약 40개를 넘으면 잘못 선택하는 경우가 늘었다. 현재는 170개가 넘는 도구의 벡터 DB를 루트 에이전트가 검색하고, 약 15개로 좁혀 컨텍스트를 분리한 서브 에이전트에 넘긴다. 또한 도구가 탭의 열림 상태에 의존하던 문제를 해결하기 위해, 탭 없이 백그라운드에서 전송할 수 있도록 개선하고 있다. API Catalog에서는 ClickHouse 테이블 스키마를 제공하고 단일 쿼리 도구를 통해 조인과 조건부 분석을 에이전트가 생성하도록 하고 있다.

실패의 원인은 도구 부족보다 컨텍스트 누락이나 오류인 경우가 더 많았다. UI 표시용 데이터 모델을 그대로 직렬화해도 추론에는 도움이 되지 않아, 엔티티별 전용 핸들러로 필요한 정보만 추려내고 있다. 설명문이나 OpenAPI 명세 같은 자유 형식 텍스트는 컨텍스트 윈도우를 압박하기 때문에, 잘라내기가 다음 과제로 남아 있다. 제품 지식은 RAG 기반 지식 베이스에서 쿼리와 상황에 따라 문서를 주입한다.

Bedrock에서는 Claude 패밀리 중에서 워크로드마다 모델을 선택할 수 있고, 모델 전환은 주로 설정 변경만으로 끝난다. 크로스 리전 추론에서는 지리적 프로파일을 통해 미국이나 EU 등 특정 지역 안으로 처리를 한정할 수 있으며, 글로벌 프로파일은 처리량을 중시하는 상황에서 사용한다. 제로 데이터 보존은 data_retention_mode를 none으로 설정해 적용하고 있지만, 지원 여부는 모델에 따라 다르다. 프롬프트 캐시는 시스템 프롬프트와 핵심 도구 정의에는 1시간, 변동하는 문맥에는 5분의 체크포인트를 나누어 사용한다. Postman의 구현은 공개되어 있지 않으며, 공개 샘플 리포지토리도 없다.