핵심 내용
NVIDIA는 9월 15일 AI Infra Summit에서 AI 데이터센터의 핵심 KPI가 최대 연산량에서 agentic tokens per megawatt로 이동하고 있다고 강조했다. Lambda가 NVIDIA DSX MaxLPS를 Blackwell 서버에 적용한 결과, 기존에 16개 full-power node가 사용하던 동일한 전력예산 안에서 19개 node를 운용했고 cluster token throughput이 초당 약 400만에서 500만 token으로 24% 증가했다고 NVIDIA가 발표했다. performance-per-watt는 23% 개선됐다.
DSX MaxLPS는 GPU와 rack의 실제 소비전력을 계속 측정하면서 static provisioning에서 남는 전력 여유를 다른 node에 재배분하는 소프트웨어다. 훈련과 추론처럼 전력 profile이 다른 작업을 섞어 운용할 때 물리적인 전력 한도를 넘지 않으면서 더 많은 compute를 밀어 넣는 것이 목표다. NVIDIA는 차세대 Vera Rubin NVL72 환경에서 적절한 조건이라면 같은 site power envelope에 최대 40% 더 많은 GPU를 수용하고 token throughput을 최대 35% 높일 수 있다고 주장했다. 이 수치는 NVIDIA와 파트너가 제시한 결과·전망이므로 실제 데이터센터의 전력·냉각·workload 구성에 따라 크게 달라질 수 있다.
NVIDIA와 Emerald AI는 전력망 운영자의 demand signal에 따라 중요도가 낮은 AI job을 자동으로 줄였다가 복구하는 flexible-load 방식도 시연했다. 즉 AI 데이터센터를 전력망을 일방적으로 소비하는 시설이 아니라, grid 상황에 따라 일부 workload를 일시적으로 조절할 수 있는 자원으로 운영하려는 방향이다.
배경
최근 Google의 장기 원전 PPA, hyperscaler의 대규모 채권 발행, 데이터센터 전력 제한 논의가 이어지면서 AI 인프라의 병목이 GPU 조달에서 megawatt 확보로 이동하고 있다. 새로운 변전소나 송전선을 건설하려면 수년이 걸리기 때문에, 이미 확보한 1MW에서 더 많은 유효 token을 뽑는 소프트웨어가 GPU 세대교체만큼 중요한 최적화 요소가 되고 있다.
산업·시장 영향
AI 클라우드 경쟁에서 GPU 몇 장을 보유했는가보다 전력 1MW당 실제 고객 작업을 얼마나 완료하는가가 중요한 비용지표가 될 가능성이 높다. GPU·network·power management를 함께 공급하는 NVIDIA에는 유리한 구조이며, 클라우드 사업자 입장에서는 전력 cap과 workload scheduler를 연결하는 새로운 FinOps 계층이 필요해진다.
실무에서 바로 활용할 시사점
자체 GPU cluster를 운영한다면 평균 GPU utilization만 보지 말고 tokens/kWh, completed tasks/kWh, rack별 peak power, idle power headroom을 함께 측정할 가치가 있다. batch·fine-tuning·embedding처럼 지연에 덜 민감한 workload를 전력가격과 grid 상황에 맞춰 이동시키고, latency-sensitive inference만 우선순위를 높이는 스케줄링도 검토할 수 있다.