Google Cloud, API Gateway 스트리밍 지원을 퍼블릭 프리뷰로 제공

지원되는 패턴은 SSE, 청크 전송 인코딩과 HTTP 응답 스트리밍(NDJSON 포함), WebSocket, gRPC의 서버 스트리밍과 양방향 스트리밍이다. 응답은 백엔드가 생성하는 즉시 전달되며, 마지막에 한꺼번에 버퍼링되지 않는다. 스트림은 최대 1시간 동안 열어 둘 수 있으며, 클라이언트 측에는 재연결 로직 구현이 요구된다.

API 사양은 변경할 필요가 없고, 스트리밍 전용 확장이나 주석도 없다. API 키 강제 적용, Firebase, Auth0, Okta, Google ID 토큰을 포함한 JWT 검증, 백엔드에 대한 서비스 계정 인증, Cloud Logging 및 Cloud Monitoring 연동, 경로 템플릿과 라우팅도 기존과 같이 사용할 수 있다. 프리뷰 기간에는 `gcloud api-gateway gateways create`에 `--enable-streaming`을 붙인다. GA 시점에는 옵트인 없이 스트리밍이 기본 동작이 될 예정이다.

아울러 기본 호스트 이름이 GATEWAY_ID-PROJECT_NUMBER.REGION.gateway.dev라는 예측 가능한 형식으로 바뀌었다. 기존에는 생성된 해시가 포함되어 생성 전에는 URL을 알 수 없었다. 이제는 Terraform이나 CI 파이프라인, 방화벽 허용 목록 등에 미리 기재할 수 있으며, 같은 프로젝트와 리전에서 다시 생성해도 같은 URL을 얻는다.

AI 용도에서는 모델 라우팅을 사용하는 게이트웨이가 Gemini, Claude, OpenAI gpt-oss 모델의 응답을 생성과 동시에 스트리밍할 수 있다. 단일 OpenAI 호환 엔드포인트에서 요청의 model 필드에 따라 분배하며, 사용 가능한 모델, 사용자, 정책을 한곳에서 관리할 수 있다. 더 광범위한 AI 정책과 수명 주기 관리에는 Apigee, 에이전트 연결 보호에는 Gemini platform의 Agent Gateway를 사용하는 구성이 소개되어 있다.

프리뷰 중의 제약으로, 스트리밍은 생성 시에만 활성화할 수 있으며 기존 게이트웨이는 전환할 수 없다. Serverless NEG와 외부 Application Load Balancer를 통한 커스텀 도메인, Cloud console에서의 활성화, Terraform은 첫 프리뷰에서는 지원되지 않으며 프리뷰 기간 중 제공될 예정이다. 스트림의 지연 메트릭은 첫 바이트까지의 시간이 아니라 연결의 지속 시간을 나타낸다.