Společnost ScaleFlux představila platformu SSD optimalizovanou pro umělou inteligenci, která je navržena pro NVIDIA CMX a další inferenční architektury, které používají SSD disky jako sdílenou vrstvu KV-cache nad rámec GPU HBM a hostitelské DRAM. Platforma kombinuje vysoce odolný hardware SSD, podporu flexibilního umisťování dat (FDP) a telemetrii pracovní zátěže, jejímž cílem je zlepšit umisťování dat, snížit amplifikaci zápisu a prodloužit efektivní odolnost v prostředích s vysokou fluktuací inferenčních dat.
Platforma řeší tři úložné výzvy s využitím odlehčené mezipaměti KV : charakterizaci chování pracovní zátěže v reálném světě, oddělení dat podle životního cyklu a udržení vysoké aktivity zápisu bez využití nadbytečné kapacity flash paměti k absorpci zápisů.
Dlouhodobá inference, opětovné použití sdílených prefixů, agentní aplikační toky a uchované nečinné relace zvyšují objem opakovaně použitelného běhového stavu uloženého mimo paměť GPU. Na rozdíl od konvenčních podnikových úloh mohou být bloky KV-cache často zapisovány, uchovávány po různou dobu, znovu aktivovány po nečinnosti a asynchronně zneplatňovány napříč relacemi, workery a tenanty. Tyto vzorce zvyšují aktivitu garbage collection a amplifikaci zápisu, když data s nekompatibilními životními cykly sdílejí stejné bloky flash.
Vysoko odolná architektura ScaleFlux je navržena tak, aby poskytovala 7 až více než 10 efektivních zápisů na disk denně po dobu pěti let pro úlohy KV cache. Společnost poznamenává, že efektivní odolnost závisí na charakteristikách pracovní zátěže, využití FDP a konfiguraci zařízení. Vyšší efektivní odolnost snižuje hrubou kapacitu flash paměti, kterou musí operátoři nasadit pouze k absorpci zápisového provozu, a ponechává tak více instalované kapacity k dispozici pro uchování aktivní KV cache a dalšího běhového stavu umělé inteligence. ScaleFlux tuto režii nazývá „daní z odolnosti“ a její snížení je hlavním ekonomickým argumentem platformy.
Platforma SSD podporuje více než 200 zápisových streamů FDP na disk. To umožňuje inferenčnímu softwaru seskupovat data podle životního cyklu, relace, klienta, klasifikace se sdíleným prefixem, vlastnictví nebo chování při opětovném použití před jejich umístěním na flash média. Cílem je zapisovat data s podobnými vzory zneplatňování společně, čímž se snižuje interní přesun dat během garbage collection a omezuje se interference mezi datovými třídami.
V předběžném kontrolovaném testování společnost ScaleFlux naměřila více než dvojnásobné snížení amplifikace zápisu při použití umístění FDP s ohledem na životní cyklus v porovnání se základní konfigurací umístění. Společnost poznamenává, že skutečné výsledky závisí na charakteristikách pracovní zátěže, klasifikaci životního cyklu, integraci softwaru a konfiguraci zařízení.
„Infrastruktura pro odvozování dat s využitím umělé inteligence potřebuje SSD disky, které poskytují více než jen dodatečnou kapacitu,“ řekl Hao Zhong, generální ředitel a spoluzakladatel společnosti ScaleFlux. „Týmy pro infrastrukturu musí pochopit, jak pracovní zátěže KV ovlivňují disk, oddělovat data podle životního cyklu a udržovat vysoké rychlosti zápisu, aniž by se nasazovala nadbytečná kapacita jen kvůli ředění zápisů. ScaleFlux v jedné platformě SSD optimalizované pro umělou inteligenci spojuje inteligenci pracovních zátěží, škálovatelné umístění FDP a efektivní DWPD 7–10+.“
Na softwarové a telemetrické vrstvě ukazuje ScaleFlux Context-Insight SSD, jak zásady KV-cache ovlivňují provoz SSD. Platforma zachycuje latenci, hloubku fronty, propustnost, distribuci velikosti požadavků, stáří dat, intervaly zápisu do prvního čtení, opětovné použití čtení, objem zápisu NAND, pohyb garbage collection a amplifikaci zápisu.
Context-Insight může fungovat pouze v režimu SSD pro počáteční analýzu pracovní zátěže bez změn ve vyšších softwarových vrstvách. Díky hlubší integraci koreluje telemetrii SSD s metadaty aplikace, včetně ID relací, identifikátorů pracovníků nebo tenantů, ID sdílených prefixů, vlastnictví bloků KV, stavu životního cyklu a mapování klíčů na bloky. To umožňuje operátorům přiřadit latenci, spotřebu výdrže a zesílení zápisu ke konkrétním třídám pracovní zátěže, místo aby s SSD zacházeli jako s neprůhledným sdíleným zdrojem.
ScaleFlux pozicionuje platformu jako doplněk k nedávno oznámené platformě CMX Context Memory Storage Platform od společnosti NVIDIA, která poskytuje sdílenou kontextovou vrstvu na úrovni podů pro vysokorychlostní přístup k mezipaměti KV a její opětovné použití. Prezentace je zaměřena na operátory AI factory: CMX se stará o kontextovou vrstvu, zatímco ScaleFlux řeší výzvy týkající se odolnosti, umístění dat a zesílení zápisu specifické pro podkladové SSD disky.
„Vzhledem k tomu, že systémy inference s využitím umělé inteligence rozšiřují mezipaměť KV za hranice paměti GPU a DRAM, je pochopení chování a požadavků na úroveň SSD disků stále důležitější,“ řekl Jason Hardy, viceprezident pro úložné technologie ve společnosti NVIDIA. „Naše spolupráce se společností ScaleFlux pomáhá charakterizovat, jak odlehčení mezipaměti KV ovlivňuje požadavky na úložiště z hlediska latence, výdrže a zesílení zápisu, a přispívá tak k širšímu ekosystému úložišť kolem NVIDIA CMX.“
Společnost vyvíjí simulátor řízený trasováním, který modeluje pohyb KV-cache napříč úrovněmi GPU HBM, hostitelské paměti a SSD. Simulátor generuje opakovaně přehrávatelné trasy SSD pro vyhodnocení politik umístění, vyřazení a seskupování životního cyklu za kontrolovaných podmínek.
Společnost ScaleFlux plánuje na veletrhu FMS představit svou platformu, která se bude zabývat analýzou pracovní zátěže Context-Insight, korelací metadat KV, umisťováním FDP s ohledem na životní cyklus, snížením amplifikace zápisu a provozem s vysokou odolností pro pracovní zátěže mezipaměti KV s vysokou zápisovou náročností. Společnost má na veletrhu významnou prezentaci: ScaleFlux v červenci uvedla, že její experti povedou sedm prezentací, včetně hlavní přednášky, kterou bude přednášet společně s NVIDIA, o paměťových řešeních pro škálování datového kanálu umělé inteligence.
Oznámení o této platformě završilo rušnou sérii novinek o křemíkových technologiích. O dva dny dříve společnost ScaleFlux na stejném veletrhu představila dva produkty PCIe Gen6: řadič SSD FC6116 NVMe a paměťový řadič MC600 CXL 3.2 Type 3. ScaleFlux udává rychlost sekvenčního čtení až 28 GB/s a sekvenčního zápisu 25 GB/s, až 7 milionů IOPS náhodného čtení 4K a více než 1 milion trvalých IOPS náhodného zápisu 4K, a to při aktivní spotřebě řadiče 9 W. Podporuje TLC, QLC a SLC NAND až do kapacity 256 TB v konfiguracích E1.S/L, E3.S/L a U.2/3. MC600 v konfiguraci Gen6 x8 spotřebovává méně než 9 W a zvládá čtyřkanálovou paměť DDR5 nebo dvoukanálovou paměť DDR4 s kapacitou až 2 TB DDR5, což je dvougenerační schopnost, kterou ScaleFlux prezentuje jako způsob, jak přenést stávající paměť DDR4 do nasazení CXL. Oba začnou s odběrem vzorků u klíčových zákazníků ve 4. čtvrtletí roku 2026.
Amazon