Společnost MinIO představila ExaPOD, modulární referenční architekturu pro vývoj a správu exascale infrastruktury umělé inteligence. Tato architektura byla vytvořena ve spolupráci se společnostmi Intel, Solidigm a Supermicro. ExaPOD funguje na platformě MinIO AIStor, exascale systému pro ukládání dat od společnosti MinIO pro společnosti zabývající se umělou inteligencí. Rozšiřuje stávající koncept DataPOD ze 100petabajtových jednotek na bloky o velikosti jednoho exabajtu.
ExaPOD slouží jako opakovaně použitelný plán pro podniky a nové poskytovatele cloudových služeb. Pomáhá poskytovat udržitelný, předvídatelný a nákladově efektivní výkon umělé inteligence v extrémním měřítku na infrastruktuře, kterou ovládají.
Řešení skutečného úzkého hrdla v umělé inteligenci
S tím, jak se agenti umělé inteligence, modely s dlouhým kontextem a multimodální kanály stávají běžnějšími, objemy dat se zvyšují z petabajtů na víceexabajtů. V mnoha prostředích není primárním omezením dostupnost grafických procesorů (GPU), ale spíše doručování dat. GPU často stojí v nečinnosti, nikoli kvůli nedostatku výpočetního výkonu, ale proto, že úložiště a datová cesta nemohou data dodávat dostatečně rychle.
ExaPOD je speciálně navržen tak, aby toto úzké hrdlo eliminoval. Snižuje a stabilizuje latenci v exascale a zajišťuje, že datová cesta zůstane široká a konzistentní. MinIO si klade za cíl využít ExaPOD k vytvoření úložné a datové vrstvy, která podporuje vysoce propustný a nízkolatenční přístup k trénovacím, inferenčním a vyhledávacím datovým sadám. To zajišťuje, že úlohy umělé inteligence přijímají nepřetržité datové kanály, místo aby čekaly na I/O operace.
Kromě výkonu řeší ExaPOD praktické potřeby umělé inteligence ve velkém měřítku:
- Předvídatelné celkové náklady na vlastnictví: Referenční návrh využívá široce známé, standardní komponenty a softwarově definované úložiště, což umožňuje předvídatelné modelování nákladů s rostoucí kapacitou.
- Suverénní nasazení v místních podmínkách: ExaPOD je určen k provozu na hardwaru pod kontrolou podniku nebo poskytovatele neocloudu. To minimalizuje neočekávané náklady, zabraňuje závislosti na cloudu a zjednodušuje dodržování pravidel pro umístění a suverenitu dat.
Jinými slovy, ExaPOD je víc než jen o rychlosti; díky němu je datová infrastruktura umělé inteligence spravovatelnější, předvídatelnější a udržitelnější v exabajtovém měřítku.
Datová architektura, nejen modely, v centru umělé inteligence
AB Periasamy, spoluzakladatel a generální ředitel společnosti MinIO, vnímá moderní vývoj umělé inteligence spíše jako výzvu pro datovou infrastrukturu než jen jako problém modelu nebo hardwaru. Věří, že organizace, které v oblasti umělé inteligence uspějí, budou ty, které přehodnotí, jak jsou data ukládána, přesouvána a zpřístupňována ve velkém měřítku, a zároveň si zachovají nákladovou efektivitu ve stylu hyperscalerů.
V tomto světle nabízí ExaPOD podnikům jasný a modulární způsob, jak budovat infrastrukturu připravenou pro umělou inteligenci, aniž by se musela obětovat kontrola, flexibilita nebo transparentnost nákladů. Namísto používání neprůhledných, univerzálních řešení nabízí ExaPOD vzorec identických, opakovatelných bloků, které lze škálovat od racků až po kompletní datová centra, a to při zachování výkonu a spolehlivosti.
Partnerský hardware
Supermicro SYS-212H-TN 2U, 24 pozic NVMe: SYS-212H-TN poskytuje hustý, ale vyvážený stavební blok pro nasazení v racku. Jeho 24 pozic U.2 NVMe maximalizuje hustotu úložiště na rack bez kompromisů v oblasti proudění vzduchu, energetické účinnosti nebo údržby a podporuje kapalinové chlazení a vysoce účinné napájení.
Intel Xeon 6781P (80 jader, 136 linek PCIe Gen5): Procesor Xeon 6781P byl vybrán pro svou schopnost simultánně saturovat sítě s vysokou hustotou NVMe i 400/800 GbE. Se 136 linkami PCIe Gen5 podporuje plný paralelismus napříč 24 disky NVMe a dvěma síťovými kartami 400 GbE bez přetížení.
SSD disk Solidigm D5-P5336 (122.88 TB QLC NVMe): S úložnou kapacitou 122.88 TB na disk nabízí disk Solidigm D5-P5336 extrémní hustotu úložiště, což umožňuje zařízení ExaPOD dosáhnout využitelné kapacity v řádu několika exabajtů v nejmenším a nejefektivnějším datovém centru v oboru.
Klíčovým aspektem ExaPODu je jeho zaměření na hustotu a energetickou účinnost – klíčové faktory v rozsahu několika petabajtů a exabajtů.
ExaPOD nabízí:
- 36 PiB využitelné kapacity na rackovou jednotku v kompaktním all-in-one uspořádání, což výrazně snižuje podlahovou plochu potřebnou pro datovou infrastrukturu umělé inteligence. Tato hustota je nezbytná pro zařízení s omezenou energií a fyzickým prostorem.
- Průměrně 900 W na PiB využitelné kapacity, včetně chlazení. Snížením energetických nároků datové vrstvy uvolňuje ExaPOD více energetické kapacity datového centra pro GPU a akcelerátory.
Podívejte se na SC25
Společnost MinIO představí ExaPOD na veletrhu SuperComputing '25 v St. Louis od 16. do 21. listopadu.
Amazon