OpenAI Decisions API가 정식 제공됐습니다 — 생성보다 빠른 분류·라우팅에 초점을 맞췄습니다
OpenAI는 10월 22일 Decisions API를 일반 제공(GA)으로 전환했습니다. 이 API는 GPT-6 Luna를 기반으로, 자유로운 장문 생성보다 답의 범위가 정해진 작은 판단을 빠르게 수행하도록 설계됐습니다. 입력은 텍스트·이미지·JSON을 받을 수 있고, 결과는 조건의 확률을 반환하는 predicate, 미리 정한 선택지 중 하나를 고르는 choice, 등급을 점수화하는 score 세 유형으로 제한됩니다.
핵심 사실
OpenAI는 10월 22일 Decisions API를 일반 제공(GA)으로 전환했습니다. 이 API는 GPT-6 Luna를 기반으로, 자유로운 장문 생성보다 답의 범위가 정해진 작은 판단을 빠르게 수행하도록 설계됐습니다. 입력은 텍스트·이미지·JSON을 받을 수 있고, 결과는 조건의 확률을 반환하는 predicate, 미리 정한 선택지 중 하나를 고르는 choice, 등급을 점수화하는 score 세 유형으로 제한됩니다.
OpenAI는 Responses API에서 GPT-6 Luna를 직접 사용할 때보다 최대 10배 빠를 수 있다고 주장합니다. 한 요청에 최대 400개의 질문을 넣을 수 있고, GPT-Live와의 네이티브 연동, 프롬프트 캐싱, 미국·EU 지역 추론도 추가됐습니다. 공개 가격은 입력 100만 토큰당 0.10달러, 캐시 입력은 0.01달러이며 출력 토큰 요금은 없다고 안내했습니다. Box·Datadog·Ramp·Sierra·Speak가 공개한 속도·비용 개선 사례는 각 회사의 자체 평가이므로 일반적인 성능 보장으로 해석하면 안 됩니다.
배경
Agent와 실시간 앱은 한 번의 긴 추론보다 “이 요청을 어느 팀으로 보낼지”, “이 행동을 계속할지”, “위험도가 어느 수준인지” 같은 작은 판단을 반복합니다. 이런 판단을 매번 범용 모델의 전체 생성 경로로 처리하면 지연시간과 비용이 누적됩니다.
의미
LLM 제품 설계에서 모든 단계를 같은 모델로 처리하기보다 생성·추론과 분류·라우팅을 분리하는 구조가 더 일반화될 가능성이 있습니다. 음성 Agent, 고객지원 라우팅, 보안 명령 위험도 판정처럼 수백 밀리초의 지연이 체감되는 영역에서 특히 의미가 있습니다. 반면 “빠른 판단” 자체가 정답성과 안전성을 보장하는 것은 아니므로, 허용된 답의 범위와 실패 시 사람에게 넘기는 조건을 별도로 설계해야 합니다.
확인한 것과 불확실한 것
정식 제공일, 지원 입력·출력 형식, 최대 400문항, 가격과 지역 처리 옵션은 OpenAI 공식 발표에서 확인했습니다. 최대 10배 속도와 고객별 3~40배 속도 개선, 비용 절감 수치는 OpenAI 또는 고객사가 공개한 자체 측정이며 독립 벤치마크는 아닙니다.
추가 취재할 독자의 질문
현재 서비스의 분류·라우팅 단계 중 어느 부분을 Decisions API 같은 전용 판단 계층으로 분리할 수 있는지, 기존 모델과 동일한 데이터셋에서 정확도·p95 지연·총비용이 실제로 얼마나 달라지는지가 실무 질문입니다. 개인정보나 규제 데이터가 있다면 미국·EU 지역 처리와 데이터 보존 정책도 추가 확인해야 합니다.
출처
OpenAI — Build more responsive apps with the Decisions API
보완 출처: LiteLLM — OpenAI Decisions API 연동 형식 설명(구현 배경, 독립 성능평가 아님)