OpenAI, Decisions API 일반 제공 시작… GPT-6 Luna로 빠른 판단 구현

Decisions API는 애플리케이션이나 에이전트가 워크플로 안에서 수행하는 입력 분류, 요청 라우팅, 다음 행동 선택 같은 작은 판단을 대상으로 한다. 개별 판단은 단순하지만 규모가 커지면 지연과 비용이 쌓이는 문제를 해결하는 것이 목적이다. 공개 베타 이후 GPT-Live와의 네이티브 통합, 재사용 컨텍스트에 대한 프롬프트 캐싱, 미국과 EU에서의 추론 레지던시가 추가됐다. 네이티브 JSON 입력, 질문 지시문에 이미지 삽입, 요청당 최대 400개 질문(기존의 2배)도 지원하며, 아시아 여러 리전에 용량도 추가됐다.

개발자는 질문과 허용되는 답변을 정의하고, 텍스트, 이미지, 네이티브 JSON으로 컨텍스트를 전달한다. 답변 유형은 3가지다. predicate는 조건이 참일 확률을 0에서 1 사이 값으로 반환한다. choice는 준비된 선택지 중 하나를 골라 확률과 신뢰도를 함께 반환한다. score는 루브릭 단계에 대한 확률 가중 평균 점수를 반환한다.

도입 사례에서 Box는 보험 증명서 30건의 경로 선택에서 Responses API와 같은 정확도를 유지하면서 약 5배 빨라졌다고 밝혔다. Datadog은 에이전트가 생성한 rshell 명령어의 위험 평가에서, 비교 대상 프런티어 모델보다 40배 빠른 p95를 동등한 정확도로 얻었다. Ramp는 AI 비용 귀속 작업에서 GPT-6 Luna보다 4배 빠르고 비용은 30% 낮았다고 밝혔다. Sierra는 p95가 280ms 미만으로 약 3배 빨라졌고, 1회당 비용은 90% 줄었다고 한다. Speak는 다음 행동까지의 시간을 1.4초에서 0.13초로 단축했다고 설명했다.

GPT-Live에서는 session.triggers에 설정을 추가하면, 대화 중 전사 업데이트에 따라 Decisions가 동작한다. 고객지원의 확인 질문이나 상담원 연결 판단, 아바타의 표정 선택 등에 활용할 수 있으며, 앱은 decision.event에서 결과를 읽는다. 전용 Decisions 엔드포인트로 제공되며, Decisions Playground에서 체험할 수 있다. 미국과 EU에서의 리전 처리를 지원하며, 대상 고객에게는 Zero Data Retention도 제공된다.