GeekNews 최신 페이지에서 AI 개발 실무와 가장 직접적으로 연결되는 신규 프로젝트는 Switchyard입니다. 현재 최신 페이지에서 약 23시간 전에 올라와 있으며, GeekNews 요약 대신 NVIDIA 공식 GitHub와 기술문서를 확인했습니다. (GeekNews)
Switchyard의 목표는 간단합니다. “모든 요청을 가장 비싼 모델에 보내지 말고, 그 일을 처리할 수 있는 가장 저렴한 모델을 고른다.” OpenAI·Anthropic API 형식을 유지한 채 NeMo Relay나 LiteLLM 내부에 넣거나, 기존 gateway에 라이브러리로 embed하거나, standalone proxy로 실행할 수 있습니다. Claude Code와 Codex CLI도 endpoint만 바꿔 붙일 수 있습니다. (GitHub)
라우팅도 단순 난이도 분류만 하는 게 아닙니다. Capability는 첫 요청을 보고 모델을 고르고, Stage는 최근 tool 결과와 오류 패턴을 보고 Agent가 탐색 단계인지 단순 구현 단계인지 판단합니다. Escalation은 저렴한 모델로 시작한 뒤 문제가 감지되면 더 강한 모델로 올립니다. (GitHub)
NVIDIA가 공개한 Terminal-Bench 2.1 자체 benchmark에서는 Claude Opus 4.8 단독이 76.0% / $98.06였고, Escalation routing은 75.7% / $85.00, Stage routing은 72.7% / $68.19였습니다. 즉 해당 환경에서는 성능을 거의 유지하면서 13.3%, 또는 약간의 성능을 포기하고 30.5% 비용절감이 나왔습니다. 다만 NVIDIA는 이 결과가 자체 내부 inference endpoint에서 측정된 것이라 다른 serving 환경에서는 절대 수치가 달라질 수 있다고 명시합니다. (GitHub)
주의할 점도 명확합니다. 현재 Pre‑1.0이고 Python/Rust routing library는 Beta/Alpha 수준이며, standalone switchyard-server는 공식적으로 Demo·evaluation용이며 production 사용을 권장하지 않습니다. (GitHub)
실무 시사점. 지금 당장 proxy를 production에 넣기보다는 기존 AI Gateway 뒤에서 shadow routing을 돌리는 게 좋습니다. 동일 작업을 항상 최상위 모델과 Switchyard routing으로 병렬 평가해 성공률 / human correction / 총 비용 / latency를 비교하면 자사 workload에서 실제 절감률을 확인할 수 있습니다. Agent 시대에는 “무슨 모델이 최고냐”보다 어느 단계에 어떤 모델을 쓰느냐가 비용경쟁력의 핵심이 될 가능성이 큽니다.