Společnost Pure Storage představila platformu FlashBlade//EXA, která je prezentována jako nejvýkonnější platforma pro ukládání dat v oboru, navržená pro správu nejnáročnějších úloh v oblasti umělé inteligence a vysoce výkonných výpočtů (HPC). Tato nová platforma, postavená na osvědčené architektuře FlashBlade, eliminuje úzká hrdla metadat, která historicky omezovala potenciál umělé inteligence. Platforma FlashBlade//EXA, navržená pro vysokou souběžnost a zvládání rozsáhlých požadavků na metadata typických pro rozsáhlou umělou inteligenci a HPC, by měla poskytovat výkon čtení přes 10 terabajtů za sekundu v rámci jednoho jmenného prostoru, čímž nastavuje nový standard výkonu.
Základní architektura platformy FlashBlade//EXA škáluje data a metadata nezávisle. Organizace mohou dosáhnout téměř neomezeného rozšíření a vícerozměrného výkonu využitím snadno dostupných datových uzlů třetích stran. Navíc její spoléhání se na standardní protokoly a síťové standardy zjednodušuje procesy nasazení, správy a škálování, takže se snadno hodí do různých podnikových prostředí.
Řízení paradigmatického posunu v oblasti skladování
Vzhledem k tomu, že grafické procesory (GPU) se stávají stále výkonnějšími a urychlují trénování velkých modelů umělé inteligence, musí se systémy ukládání dat přizpůsobit rostoucím požadavkům na výpočetní náročnost, objem dat a diverzitu dat. Tradiční úložná řešení, původně navržená pro předvídatelné úlohy HPC, často selhávají v kritických oblastech moderní umělé inteligence, jako je souběžné čtení a zápis, výkon metadat, nízká latence a asynchronní kontrolní body.
Rob Lee, technický ředitel společnosti Pure Storage, zdůraznil důležitost řešení, které nezávisle škáluje data a metadata. Zdůraznil, že masivně paralelní architektura FlashBlade//EXA poskytuje bezkonkurenční výkon, škálovatelnost a adaptabilitu, a poznamenal, že úložiště nové generace nyní může aktivně řídit vývoj rozsáhlých HPC a umělé inteligence.
Skutečně moderní úložné řešení by mělo nabízet dezagregovaný, paralelní design pro efektivní akceleraci umělé inteligence ve velkém měřítku. Organizace mohou bez námahy přidávat zdroje, aby držely krok s rychlou a neustálou transformací umělé inteligence, a to odklonem od univerzálního přístupu.
Co jsou tedy metadata a proč na nich záleží?
Metadata označují informace o uložených datech, které pomáhají s jejich identifikací, kategorizací, přístupností a načítáním. V oblasti správy dat a úložných polí zahrnují metadata kritické detaily, jako jsou názvy souborů, velikosti, data vytvoření, oprávnění a umístění v úložném systému. S rostoucím rozsahem úložných systémů a zvětšujícími se datovými sadami se výrazně zvyšuje i objem metadat. Bez efektivní správy metadat může tento růst vést k úzkým místům ve výkonu, pomalejšímu načítání dat a zvýšené latenci. To je obzvláště problematické pro úlohy umělé inteligence a HPC, které vyžadují rychlý a souběžný přístup k masivním datovým sadám. Efektivní manipulace s metadaty je proto klíčová pro udržení vysokého výkonu, spolehlivosti a efektivity ve velkých úložných prostředích.
Moderní architektura pro úlohy s využitím umělé inteligence a HPC
Starší vysoce výkonné úložné technologie byly vyvinuty pro zvládání předvídatelných úloh HPC zaměřených na škálování hrubého výkonu. Naproti tomu dnešní úlohy umělé inteligence vyžadují zpracování různých datových typů – textu, obrázků a videa – paralelně napříč desítkami tisíc grafických procesorů. Tento posun vyžaduje architektury, které optimalizují metadata a zároveň poskytují významný výkon pro efektivní správu značné souběžnosti.
FlashBlade//EXA řeší tyto požadavky pomocí dezagregovaného, vysoce paralelního designu, který se zaměřuje na výkon a škálování metadat. Tento přístup pomáhá podnikům přizpůsobit se rostoucím multimodálním modelům umělé inteligence, zlepšit spolehlivost a zkrátit doby nečinnosti. Pro další optimalizaci úloh umělé inteligence a HPC integruje FlashBlade//EXA vysokorychlostní síťové karty NVIDIA ConnectX, přepínače Spectrum, kabely LinkX a akcelerované komunikační knihovny, což zajišťuje bezproblémový přesun dat a nízkolatenční výkon pro rozsáhlé školení a inferenci. Díky tomu mohou organizace urychlit školení a inferenci, maximalizovat využití GPU a zkrátit celkovou dobu potřebnou k získání poznatků. Navíc kombinací metadatového enginu Pure Storage a operačního systému Purity s cenově dostupnými datovými uzly mohou podniky dosáhnout vynikajícího poměru ceny a výkonu, který splňuje požadavky rozsáhlých projektů umělé inteligence.
Klíčové schopnosti FlashBlade//EXA
Špičkový výkon v oboru ve velkém měřítku
FlashBlade//EXA využívá rozsáhlé zkušenosti společnosti Pure Storage s optimalizací metadat k maximalizaci efektivity procesů pro trénování a inferenci umělé inteligence. Podle předběžných testů dokáže v jednom jmenném prostoru dosáhnout rychlosti čtení přes 10 terabajtů za sekundu, čímž nastavuje novou hranici výkonu v oboru. Tato schopnost je poháněna masivně paralelním zpracováním a škálovatelnými IOPS metadat, což organizacím umožňuje bezproblémově splňovat požadavky na vysokorychlostní umělou inteligenci.
Snížená složitost správy
Odstraněním úzkých míst v metadatech řeší FlashBlade//EXA jednu z největších výzev v oblasti úloh s umělou inteligencí: efektivní zpracování masivních datových sad. Vysoký výkon, dostupnost a odolnost metadat umožňují spuštění nasazení umělé inteligence bez ručního ladění nebo specializované konfigurace. V důsledku toho podniky profitují z menšího počtu provozních překážek při správě rozsáhlých nebo rychle se vyvíjejících datových sad.
Zrychlené inovace v oblasti umělé inteligence
Dezagregovaná architektura FlashBlade//EXA je vysoce konfigurovatelná a integruje se s protokoly odpovídajícími průmyslovým standardům, včetně knihoven pro akcelerovanou komunikaci od NVIDIA, což umožňuje trénování a inferenci umělé inteligence s vysokou šířkou pásma. Tato hluboká integrace zajišťuje, že podniky maximalizují využití GPU a zároveň si zachovávají flexibilitu pro efektivní škálování úloh umělé inteligence. Tento design podporuje plynulý vývoj v rámci prostředí umělé inteligence a HPC a zajišťuje, že se organizace mohou rychle přizpůsobit novým datovým typům, inovativním aplikacím a vznikajícím modelům, aniž by to ohrozilo výkon nebo spolehlivost.
dostupnost
Vydání FlashBlade//EXA je naplánováno na léto 2025.
Amazon