Liqid Pools: 30 GPU AMD MI350P in un unico server: 4.3 TB di HBM3E e 69 PFLOPS per l'inferenza AI.

A fine luglio, Liqid ha presentato una piattaforma AI scalabile basata su GPU AMD Instinct MI350P PCIe. UltraStack 30 combina la tecnologia di pooling GPU componibile di Liqid con gli acceleratori AMD per rispondere alle esigenze di inferenza AI in ambito aziendale e cloud, che necessitano di scalare oltre il numero di acceleratori e la capacità di memoria dei server convenzionali.

UltraStack 30: Messa in pool di 30 GPU AMD MI350P

L'architettura proposta consente di raggruppare fino a 30 GPU AMD Instinct MI350P all'interno di un singolo ambiente server. Liqid afferma che ciò può fornire 4.3 TB di capacità HBM3E aggregata per modelli di grandi dimensioni, implementazioni di generazione potenziata dal recupero e carichi di lavoro di inferenza a lungo termine. La piattaforma è progettata per consentire l'allocazione dinamica delle risorse GPU, anziché essere fissa sui singoli server, con supporto nativo di Kubernetes per implementazioni di modelli paralleli.

La collaborazione mira a risolvere una crescente sfida infrastrutturale nell'inferenza AI: massimizzare l'utilizzo effettivo degli acceleratori controllando al contempo il costo dei token generati. Liqid afferma che il suo approccio basato su GPU in pool può offrire una velocità di elaborazione dei token fino a 3.7 volte superiore, 2.1 volte più token per dollaro e 1.8 volte migliori token per watt rispetto alle configurazioni server tradizionali. L'azienda punta inoltre a una riduzione fino al 65% dei costi di implementazione e al 50% del consumo energetico per implementazioni con modelli di grandi dimensioni, cifre che, secondo l'azienda, si basano su proiezioni interne che variano in base alla configurazione e al carico di lavoro.

"Liqid si è affermata come leader nel pooling e nello scaling di GPU. La serie AMD Instinct MI350P ci offre la GPU basata su PCIe ideale per costruire la prossima generazione di infrastrutture AI, consentendoci di fornire soluzioni ottimizzate per l'inferenza AI aziendale, dove l'utilizzo e il costo per token determinano la redditività", ha dichiarato Rick Hegberg, CEO di Liqid.

All'interno del MI350P

AMD posiziona la MI350P come un acceleratore basato su PCIe progettato per offrire prestazioni di inferenza AI senza richiedere un raffreddamento specializzato o una riprogettazione più ampia del data center. La scheda tecnica di AMD elenca 144 GB di HBM3E con una larghezza di banda di memoria di 4 TB/s, 2.3 PFLOPS di calcolo FP8 denso dalla sua architettura CDNA 4 e un consumo energetico tipico di 600 W (450 W configurabili) in un fattore di forma PCIe 5.0 a doppio slot con raffreddamento passivo. Trenta di queste schede sono esattamente la fonte dei valori aggregati di 4.3 TB e 69 PFLOPS dell'UltraStack. In combinazione con la struttura di Liqid, le GPU possono essere aggiunte e scalate su richiesta per supportare le mutevoli esigenze di inferenza, riducendo potenzialmente la capacità GPU inutilizzata e consentendo una maggiore densità di modelli per sistema.

"La GPU AMD Instinct MI350P PCIe offre prestazioni eccezionali nell'inferenza AI senza richiedere infrastrutture specializzate. Insieme alle soluzioni di pooling GPU di Liqid, i clienti possono scalare le risorse GPU on demand per ottenere un maggiore utilizzo, costi infrastrutturali inferiori e un'economia dell'inferenza AI leader del settore", ha affermato Suresh Andani, vicepresidente aziendale del Compute and Enterprise AI Group di AMD.

A chi è rivolta la piattaforma

La soluzione è destinata ai team di IA aziendali, ai fornitori di NeoCloud, ai fornitori di servizi di IA e alle organizzazioni di HPC e di ricerca. I casi d'uso identificati includono assistenti aziendali privati ​​on-premise per funzioni quali vendite, risorse umane, marketing, legale e programmazione; inferenza RAG e a contesto lungo; carichi di lavoro scientifici, tra cui la scoperta di farmaci e la scienza dei materiali; e flotte di modelli misti che gestiscono modelli di diverse dimensioni da un pool di acceleratori condiviso.

Dal pooling delle GPU al pooling della memoria CXL

La parte relativa a CXL di questa storia non è più solo teorica. All'inizio di agosto, Liqid ha lanciato la piattaforma di memoria EX-5410C, che l'azienda definisce la prima e unica soluzione di pooling di memoria completamente disaggregata e definita via software del settore. Basata su CXL 2.0 e gestita tramite il software Liqid Matrix, la EX-5410C raggruppa fino a 40 TB di DRAM per chassis, è scalabile fino a un pool unificato di oltre 160 TB e alloca dinamicamente la memoria su un massimo di 16 nodi server con quella che Liqid definisce capacità inutilizzata pari a zero.

Liqid afferma di offrire un'elaborazione fino a 30 volte più veloce per i carichi di lavoro di analisi grafica e fino a 7 volte più token al secondo per determinati carichi di lavoro di cache KV sulla piattaforma. Un banco di prova preliminare è già attivo presso il Pacific Northwest National Laboratory, a disposizione dei ricercatori finanziati dal Dipartimento dell'Energia degli Stati Uniti (DOE) tramite l'iniziativa AMAIS. Per UltraStack, la chiave di lettura è direzionale: lo stesso modello di componibilità che Liqid applica alla capacità GPU si sta estendendo alla memoria di sistema, consentendo alle future implementazioni di allocare memoria condivisa per la cache KV e altri carichi di lavoro di intelligenza artificiale ad alta intensità di memoria, insieme ad acceleratori in pool.

Ulteriori dettagli sulle soluzioni congiunte di Liqid e AMD saranno forniti man mano che le aziende porteranno avanti le attività di sviluppo e di implementazione presso i clienti.