NVIDIA, AI 인프라 KPI를 ‘GPU 수’에서 tokens per megawatt로 — 같은 전력에서 노드 16→19대 운영 실증
NVIDIA는 9월 15일 AI Infra Summit에서 AI 데이터센터의 핵심 KPI가 최대 연산량에서 agentic tokens per megawatt 로 이동하고 있다고 강조했습니다. Lambda가 NVIDIA DSX MaxLPS 를 Blackwell 서버에 적용한 결과, 기존에 16개 full-power node가 사용하던 동일한 전력예산 안에서 19개 node를 운용했고 cluster token throughput이 초당 약 400만에서 500만 token으로 24% 증가했다고 NVIDIA가 발표했습니다. performance-per-watt는 23% 개선됐습니다.
원문과 함께 읽기