핵심 내용
AMD는 같은 날 OCP 규격에 기반한 Helion Agent AI 랙 참조설계를 발표했다. 이는 프런티어 모델 학습·대규모 추론에 집중한 기존 Helios와 다른 시스템이다. Helion은 Agent의 브라우저·코드 실행·도구 호출과 별도의 모델 추론이 함께 필요한 상황에 맞춰 CPU 전용 및 CPU/GPU 혼합 구성을 지원한다.
AMD의 예시에 따르면 6세대 EPYC CPU를 이용한 랙은 최대 32,768개 CPU 코어로 구성할 수 있다. 다른 설계는 EPYC CPU와 Instinct MI350P GPU를 조합한다. 공랭·수랭 설계 모두 가능하며 여러 프런티어·오픈 모델로 요청을 분기하는 통합 token router도 제시했다. AMD는 Helion 명세를 OCP에 기여할 계획이고 파트너의 랙 구성은 2026년 11월 공급 예정으로 개발 중이다. 따라서 10월 12일 발표를 모든 구성의 실제 납품 완료로 받아들여서는 안 된다. Advanced Micro Devices, Inc.
배경
AI Agent는 모델이 답을 생성하는 시간 외에도 샌드박스 실행, 코드 검사, 저장소 검색, API 호출과 테스트에 CPU·메모리를 사용한다. 이를 모두 GPU 중심 서버에서 처리하면 비싼 추론칩의 유휴시간과 도구 실행 병목이 커질 수 있다.
산업·시장에 미치는 영향
Agent 업무가 확대될수록 GPU 외에 데이터센터 CPU·네트워크·스토리지의 가치를 재평가할 가능성이 있다. 하드웨어 업체는 모델 추론과 도구 실행을 분리하거나 합친 랙을 고객에 맞게 제공할 수 있다. 실제 비용 우위는 출시 후 벤치마크와 시스템 통합비용으로 검증해야 한다.
실무에서 바로 활용할 수 있는 시사점
Agent 인프라의 병목을 측정할 때 작업당 CPU 시간, 컨테이너 동시 실행 수, GPU 유휴율, 모델 호출 대기, 완료 작업당 소비전력을 함께 확인해야 한다. CPU 실행계층과 GPU 추론계층을 분리하는 방식을 작은 업무 시나리오에서 비교해 볼 수 있다.
출처
AMD — Introducing AMD Helion, Agentic AI Compute at Rack Scale