Společnost Supermicro uvedla na trh novou sadu řešení pro pokročilé nasazování generativní umělé inteligence, což představuje významný krok ve vývoji infrastruktury pro modely s rozsáhlými jazyky (LLM). Tato řešení SuperCluster jsou navržena jako klíčové komponenty pro podporu současných i budoucích požadavků na umělou inteligenci.
Tato nová verze obsahuje tři odlišné konfigurace SuperClusteru přizpůsobené pro generativní úlohy umělé inteligence. Mezi možnosti patří 4U kapalinou chlazený systém a 8U vzduchem chlazená sestava navržená pro intenzivní trénink LLM a vysokokapacitní inferenci LLM. Kromě toho je 1U vzduchem chlazená varianta se systémy Supermicro NVIDIA MGX zaměřena na cloudové inferenční aplikace. Tyto systémy jsou navrženy tak, aby poskytovaly bezkonkurenční výkon při tréninku LLM a pyšní se funkcemi, jako jsou velké dávky a značné objemy pro inferenci LLM.
Rozšiřování kapacity pro klastry umělé inteligence
Díky schopnosti vyrábět až 5 000 racků měsíčně je společnost Supermicro v pozici, která umožňuje rychlé dodávky kompletních generativních clusterů s umělou inteligencí (AI) a slibuje tak svým klientům rychlejší dodávky. Například cluster s 64 uzly může obsahovat 512 grafických procesorů NVIDIA HGX H200 a využívat vysokorychlostní síťové rozhraní NVIDIA Quantum-2 InfiniBand a Spectrum-X Ethernet k dosažení robustního prostředí pro trénování AI. Ve spojení se softwarem NVIDIA AI Enterprise je tato konfigurace ideálním řešením pro podnikové a cloudové infrastruktury, jejichž cílem je trénovat sofistikované LLM s biliony parametrů.
Inovativní chlazení a výkon
Nové systémy Supermicro 4U NVIDIA HGX H100/H200 s 8 GPU využívají kapalinové chlazení pro dvojnásobnou hustotu ve srovnání s 8U vzduchem chlazenými alternativami, což vede k nižší spotřebě energie a snížení celkových nákladů na vlastnictví datových center. Tyto systémy podporují grafické karty NVIDIA nové generace založené na architektuře Blackwell s účinnými chladicími technologiemi, které udržují optimální teploty pro maximální výkon.
Specifikace SuperClusteru
Supermicro SuperClusters jsou škálovatelná řešení pro trénování masivních základních modelů a vytváření cloudových inferenčních infrastruktur LLM. Díky vysoce škálovatelné síťové architektuře se tyto systémy mohou rozšířit z 32 uzlů na tisíce, což zajišťuje bezproblémovou škálovatelnost. Integrace pokročilého kapalinového chlazení a komplexních testovacích procesů zaručuje provozní efektivitu a účinnost.
Společnost Supermicro uvádí dvě hlavní konfigurace: SuperCluster s kapalinou chlazeným systémem 4U, schopným podporovat až 512 GPU v kompaktním provedení, a SuperCluster s vzduchem chlazeným systémem NVIDIA MGX 1U, určeným pro úlohy s vysokým objemem a nízkou latencí. Obě konfigurace se vyznačují vysokým síťovým výkonem, který je nezbytný pro trénování a inferenci LLM.
Zde je stručný přehled jejich specifikací:
SuperCluster s 4U kapalinou chlazeným systémem v 5 raccích nebo 8U vzduchem chlazeným systémem v 9 raccích
- 256 grafických procesorů NVIDIA H100/H200 s tenzorovým jádrem v jedné škálovatelné jednotce
- Kapalinové chlazení umožňuje 512 GPU, 64 uzlů, ve stejném prostoru jako vzduchem chlazené řešení s 256 GPU, 32 uzly
- 20 TB HBM3 s NVIDIA H100 nebo 36 TB HBM3e s NVIDIA H200 v jedné škálovatelné jednotce
- Síť 1:1 poskytuje až 400 Gb/s na každou GPU, což umožňuje GPUDirect RDMA a úložiště pro trénování rozsáhlých jazykových modelů s až biliony parametrů.
- Přepínací struktury 400G InfiniBand nebo 400GbE Ethernet s vysoce škálovatelnou topologií sítě typu „spine-leaf“, včetně ethernetové platformy NVIDIA Quantum-2 InfiniBand a NVIDIA Spectrum-X.
- Přizpůsobitelná úložná struktura pro datové kanály s umělou inteligencí a špičkovými možnostmi paralelního souborového systému
- Software NVIDIA AI Enterprise 5.0, který přináší podporu pro nové inferenční mikroslužby NVIDIA NIM, jež urychlují nasazení modelů umělé inteligence ve velkém měřítku.
SuperCluster s 1U vzduchem chlazeným systémem NVIDIA MGX v 9 raccích
- 256 superčipů GH200 Grace Hopper v jedné škálovatelné jednotce
- Až 144 GB unifikované paměti HBM3e + 480 GB paměti LPDDR5X vhodné pro cloudové škálování, inferenci s vysokým objemem, nízkou latencí a vysokou velikostí dávek, schopné pojmout model parametrů o velikosti přes 70 bází v jednom uzlu.
- Přepínací struktury 400G InfiniBand nebo 400G Ethernet s vysoce škálovatelnou topologií sítě typu „spine-leaf“
- Až 8 vestavěných úložných zařízení E1.S NVMe na uzel
- Přizpůsobitelná struktura úložiště datových kanálů umělé inteligence s procesory NVIDIA BlueField-3 a špičkovými možnostmi paralelního souborového systému pro zajištění vysokorychlostního a nízkolatenčního přístupu k úložišti pro každou grafickou kartu (GPU).
- Software NVIDIA AI Enterprise 5.0
Supermicro rozšiřuje portfolio umělé inteligence o nové systémy a racky s využitím architektury NVIDIA Blackwell
Společnost Supermicro také oznamuje rozšíření své nabídky systémů umělé inteligence, včetně nejnovějších inovací NVIDIA pro datová centra zaměřených na rozsáhlou generativní umělou inteligenci. Mezi tyto nové technologie patří superčip NVIDIA GB200 Grace Blackwell a grafické procesory Tensor Core B200 a B100.
Aby společnost Supermicro splnila tato vylepšení, bezproblémově modernizuje své stávající systémy NVIDIA HGX H100/H200 s 8 GPU a integruje do nich NVIDIA HGX B100 s 8 GPU a B200. Řada NVIDIA HGX bude navíc posílena o nové modely s procesorem NVIDIA GB200, včetně komplexního rackového řešení s 72 grafickými kartami NVIDIA Blackwell. Kromě těchto vylepšení společnost Supermicro představuje nový kapalinou chlazený systém 4U NVIDIA HGX B200 s 8 GPU, který využívá technologii kapalinového chlazení přímo na čip k řešení zvýšených tepelných nároků nejnovějších grafických karet a k uvolnění plného výkonu technologie Blackwell od společnosti NVIDIA.
Nové systémy od společnosti Supermicro optimalizované pro GPU budou brzy k dispozici, plně kompatibilní s grafickými procesory NVIDIA Blackwell B200 a B100 Tensor Core a certifikované pro nejnovější software NVIDIA AI Enterprise. Řada Supermicro zahrnuje rozmanité konfigurace, od systémů NVIDIA HGX B100 a B200 s 8 GPU až po SuperBlade, které schopné pojmout až 20 GPU B100, což zajišťuje všestrannost a vysoký výkon v široké škále aplikací umělé inteligence. Mezi tyto systémy patří první modely NVIDIA HGX B200 a B100 s 8 GPU na trhu s pokročilou technologií propojení NVIDIA NVLink. Společnost Supermicro naznačuje, že je připravena poskytovat výsledky školení pro LLM (3x rychlejší) a podporovat škálovatelné clusterování pro náročné úlohy umělé inteligence, což představuje významný krok vpřed ve výpočetní efektivitě a výkonu umělé inteligence.
Technologie kapalinového chlazení Supermicro
Amazon