GeekNews 인프라 레이더 — Meta Rebalancer, 서버·AI 학습 작업 배치 제약을 풀어주는 오픈소스

GeekNews 최신 글에서 확인한 Meta Rebalancer는 서버에 작업을 배치하거나 데이터 샤드를 여러 장비로 분배할 때 용량·부하 균형·이동 비용 같은 제약을 선언하고 해를 찾는 오픈소스 최적화 도구다.

원본 저장소에 따르면 핵심은 C++로 구현됐으며 Python 및 C++ 인터페이스를 제공한다.

대규모 문제에 적합한 local search와 수학적 최적해를 탐색하는 혼합정수계획(MIP) 방식 중 선택할 수 있다.

MIP는 오픈소스 HiGHS와 상용 Gurobi·FICO Xpress 등을 지원한다.

Meta는 서버·하드웨어 배분, 머신러닝 학습·추론 위치 결정, 트래픽 분산 등에 실제 사용했다고 설명한다.

저장소는 약 100만 개 규모의 객체와 컨테이너를 다루는 문제도 처리할 수 있다고 소개하지만 성능은 제약과 하드웨어에 따라 달라진다.

핵심 설계와 운영 경험은 OSDI 2024 논문으로 공개됐으므로 이번 GeekNews 소개를 기술의 최초 출시로 오인해서는 안 된다.

라이선스는 Apache-2.0이다.

AI 인프라 운영에서 특정 GPU의 성능만큼 중요한 것은 제한된 GPU·CPU·메모리·네트워크 자원을 어느 작업에 배치하는지다.

단순히 사용률이 낮은 서버로 옮기는 정책은 데이터 이동 비용이나 장애 복원력 요구와 충돌할 수 있다.

클러스터 관리와 AI 추론 스케줄링에서 범용 최적화 도구를 활용하면 수많은 수작업 규칙을 하나의 명시적 제약 문제로 다룰 수 있다.

다만 local search는 전역 최적해를 보장하지 않고, 큰 MIP 문제는 계산시간이 길어질 수 있다.

GPU 작업 분배·배치 예약 시스템을 만든다면 작업별 자원 요구량, 장비별 용량, 데이터 지역성, 장애 도메인, 이동 비용을 제약으로 명시한 뒤 기존 휴리스틱과 비교해 볼 수 있다.

실제 배포 전에 해의 유효성·실행시간·장애 이후 재계산 시간을 검증해야 한다.

앱 · 알림 설정