Liqid Pools, 하나의 서버에 AMD MI350P GPU 30개 탑재: 4.3TB HBM3E 메모리 및 AI 추론을 위한 69 PFLOPS 성능 제공

7월 말, Liqid는 AMD Instinct MI350P PCIe GPU를 기반으로 하는 확장형 AI 플랫폼인 UltraStack 30을 공개했습니다. UltraStack 30은 Liqid의 구성 가능한 GPU 풀링 기술과 AMD 가속기를 결합하여 기존 서버의 가속기 개수 및 메모리 용량을 뛰어넘는 확장성이 필요한 기업 및 클라우드 AI 추론 환경을 지원합니다.

UltraStack 30: AMD MI350P GPU 30개 풀링

제안된 아키텍처는 단일 서버 환경 내에서 최대 30개의 AMD Instinct MI350P GPU를 풀링할 수 있도록 합니다. Liqid에 따르면, 이를 통해 대규모 모델, 검색 증강 생성 배포 및 장기 컨텍스트 추론 워크로드에 필요한 총 4.3TB의 HBM3E 용량을 제공할 수 있습니다. 이 플랫폼은 GPU 리소스를 개별 서버에 고정하는 방식이 아닌 동적으로 할당할 수 있도록 설계되었으며, 병렬 모델 배포를 위한 네이티브 Kubernetes 지원을 제공합니다.

이번 협력은 AI 추론 분야에서 점점 중요해지고 있는 인프라 과제, 즉 유용한 가속기 활용률을 극대화하는 동시에 생성되는 토큰의 비용을 제어하는 ​​데 초점을 맞추고 있습니다. Liqid는 자사의 GPU 풀링 방식이 기존 서버 구성 대비 최대 3.7배 높은 토큰 처리량, 달러당 2.1배 더 많은 토큰, 와트당 1.8배 더 우수한 토큰 효율을 제공할 수 있다고 주장합니다. 또한, 대규모 모델 배포 시 구축 비용을 최대 65% 절감하고 전력 소비량을 최대 50%까지 줄일 수 있다고 밝혔는데, 이는 구성 및 워크로드에 따라 달라질 수 있는 내부 예측치에 기반한 수치입니다.

"Liqid는 GPU 풀링 및 확장 분야에서 선두 기업으로 자리매김했습니다. AMD Instinct MI350P 시리즈는 차세대 AI 인프라 구축에 이상적인 PCIe 기반 GPU를 제공하여, 토큰당 활용률과 비용이 경제성을 좌우하는 기업용 AI 추론에 최적화된 솔루션을 제공할 수 있게 해줍니다."라고 Liqid의 CEO인 릭 헤그버그는 말했습니다.

MI350P 내부

AMD는 MI350P 를 특수 냉각 시스템이나 대규모 데이터 센터 재설계 없이도 AI 추론 성능을 제공하도록 설계된 PCIe 기반 가속기로 포지셔닝하고 있습니다. AMD의 사양표에 따르면 이 카드는 144GB의 HBM3E 메모리와 4TB/s의 메모리 대역폭, CDNA 4 아키텍처 기반의 2.3 PFLOPS 고밀도 FP8 연산 성능, 그리고 600W의 일반 전력 소비량(450W로 구성 가능)을 갖추고 있으며, 패시브 쿨링 방식의 듀얼 슬롯 PCIe 5.0 폼팩터를 사용합니다. UltraStack의 4.3TB 메모리와 69 PFLOPS의 총 성능은 바로 이러한 MI350P 카드 30개에서 비롯됩니다. Liqid 패브릭과 결합된 이 GPU는 변화하는 추론 수요에 맞춰 필요에 따라 추가 및 확장할 수 있어, 잠재적으로 활용되지 않는 GPU 용량을 줄이고 시스템당 모델 밀도를 높일 수 있습니다.

AMD의 컴퓨팅 및 엔터프라이즈 AI 그룹 부사장인 수레쉬 안다니는 “AMD Instinct MI350P PCIe GPU는 특수 인프라 없이도 탁월한 AI 추론 성능을 제공합니다. Liqid의 GPU 풀링 솔루션과 함께 고객은 필요에 따라 GPU 리소스를 확장하여 활용률을 높이고 인프라 비용을 절감하며 업계 최고 수준의 AI 추론 경제성을 달성할 수 있습니다.”라고 말했습니다.

이 플랫폼의 목표 대상은 누구인가?

이 솔루션은 기업 AI 팀, 네오클라우드 제공업체, AI 서비스 제공업체, HPC 및 연구 기관을 대상으로 합니다. 주요 사용 사례로는 영업, 인사, 마케팅, 법률, 코딩 등의 기능을 위한 온프레미스 기반의 기업용 AI 비서, RAG 및 장기 컨텍스트 추론, 신약 개발 및 재료 과학을 포함한 과학 워크로드, 그리고 공유 가속기 풀에서 다양한 모델 크기를 지원하는 혼합 모델 환경 등이 있습니다.

GPU 풀링에서 CXL 메모리 풀링으로

CXL 관련 이야기는 더 이상 이론적인 이야기 가 아닙니다. 8월 초, Liqid는 업계 최초이자 유일한 완전 분리형 소프트웨어 정의 메모리 풀링 솔루션인 EX-5410C 메모리 플랫폼을 출시했습니다. CXL 2.0을 기반으로 Liqid Matrix 소프트웨어로 관리되는 EX-5410C는 섀시당 최대 40TB의 DRAM을 풀링하고, 160TB 이상의 통합 풀로 확장 가능하며, Liqid가 "제로 스트랜든드 용량(zero stranded capacity)"이라고 설명하는 것처럼 최대 16개의 서버 노드에 메모리를 동적으로 할당합니다.

Liqid는 그래프 분석 워크로드에서 최대 30배 빠른 처리 속도와 특정 KV 캐시 워크로드에서 초당 최대 7배 더 많은 토큰을 처리할 수 있다고 주장하며, 초기 테스트베드는 이미 태평양 북서부 국립 연구소(PNNL)에서 운영 중이며, AMAIS 이니셔티브를 통해 DOE의 자금 지원을 받는 연구원들이 이용할 수 있습니다. UltraStack의 경우, 이는 중요한 방향성을 제시합니다. Liqid가 GPU 용량에 적용하는 것과 동일한 구성 가능성 모델이 시스템 메모리로 확장되고 있으며, 이를 통해 향후 배포 시 KV 캐시 및 기타 메모리 집약적인 AI 워크로드에 공유 메모리를 할당하고 풀링된 가속기를 함께 사용할 수 있게 될 것입니다.

Liqid와 AMD의 공동 솔루션에 대한 자세한 내용은 양사가 개발 및 고객 배포 활동을 진행함에 따라 공개될 예정입니다.