오늘 가장 중요한 기술 발표입니다.
OpenAI는 8월 25일 자체 설계 첫 추론 가속기 Jalapeño의 실제 측정 결과를 공개했습니다. 이 칩은 6월 Broadcom과 함께 처음 공개됐으며, 이번에는 SemiAnalysis의 공개 추론 벤치마크 InferenceX를 이용해 GPT‑OSS 120B, DeepSeek R1 670B, Kimi K2.5 1T를 실제로 구동한 결과가 나왔습니다. openai.com
OpenAI 측 측정에서 Jalapeño는 비교 대상 시스템보다 peak throughput 기준 와트당 AI 처리량이 1.5~1.9배 높고, end-to-end latency는 1.7~3.6배 낮았습니다. GPT‑OSS 120B에서는 와트당 처리량이 약 1.9배, DeepSeek R1에서는 약 1.7배였고, Kimi K2.5에서도 약 1.5배였습니다. Jalapeño의 정격 전력은 700W지만 테스트 워크로드에서 지속 소비전력은 550W 이하였다고 OpenAI는 설명합니다. 이는 OpenAI가 수행·공개한 벤치마크 결과이므로 독립적인 대규모 검증과 동일하게 취급해서는 안 됩니다. openai.com
기술적으로 더 중요한 부분은 prefill과 decode를 함께 최적화했다는 점입니다. LLM의 prompt 처리는 계산량이 많이 필요하지만 토큰 생성 단계는 메모리 대역폭 병목이 큽니다. Jalapeño는 KV cache와 모델 상태의 데이터 이동을 줄이고 compute·memory·network를 하나의 시스템으로 설계해 두 단계를 동시에 최적화했습니다. OpenAI는 2026년 말 내부 인프라에 1세대 칩 배치를 시작하고 이미 Gen 2를 개발 중이며 Gen 3도 설계 단계에 있다고 밝혔습니다. openai.com
특히 흥미로운 것은 AI가 AI 칩을 만드는 과정에 직접 사용됐다는 점입니다. OpenAI는 모델을 이용해 초기 설계부터 tape-out까지의 기간을 약 9개월로 단축했고, 일부 GPT‑OSS attention·MoE block에서는 AI가 만든 구현이 기존 인간 전문가 구현보다 1.5~1.8배 빠르게 실행됐다고 밝혔습니다. 이 수치는 선택된 커널 블록에 한정된 결과입니다. openai.com
산업·시장 영향
AI 인프라 경쟁이 NVIDIA GPU를 “사는 것”에서 모델과 하드웨어를 함께 설계하는 것으로 넘어가고 있습니다.
Google은 TPU, Amazon은 Trainium, Microsoft는 Maia를 갖고 있고 이제 OpenAI도 자체 inference silicon을 실제 서비스에 넣는 단계에 진입했습니다. OpenAI는 NVIDIA 등 외부 가속기를 계속 사용하겠다고 밝혔으므로 당장 NVIDIA를 대체하는 구조는 아닙니다. 오히려 workload별 최적 accelerator 선택이 현실적인 방향입니다. openai.com
실무 시사점
앞으로 AI 비용을 비교할 때 $/token만 보는 것은 더 부정확해집니다. 실제 비용은 Model + Serving software + Memory + Accelerator + Power + Latency 조합에 의해 결정됩니다.
특히 에이전트는 여러 단계를 연속해서 실행하기 때문에 각 호출에서 1초씩 절약하면 전체 작업에서는 수십 초가 줄 수 있습니다. 그래서 추론 hardware의 latency와 performance-per-watt가 Agent UX에도 직접 영향을 미칩니다.