Společnost CTERA představila Fusion Direct, federovanou datovou architekturu, jejímž cílem je překlenout dlouhodobou propast mezi podnikovými souborovými systémy a objektovým úložištěm. Nová nabídka rozšiřuje rodinu produktů CTERA Fusion, která již zahrnuje CTERA Fusion Gateway, a je klíčovou součástí platformy CTERA Intelligent Data Platform. Cílem je představit jednotnou, vysoce výkonnou datovou strukturu, která dokáže obsluhovat jak souborové úlohy zaměřené na člověka, tak i strojově řízené kanály umělé inteligence bez nutnosti duplikace dat nebo refaktorování aplikací.
Sjednocení souboru a objektu pod jedním jmenným prostorem
Podnikové IT týmy byly tradičně nuceny provozovat dvě oddělené úložné domény. Systémy NAS poskytují přístup přes SMB a NFS pro spolupráci uživatelů a starší nebo podnikové aplikace. Objektové úložiště, ke kterému se obvykle přistupuje přes S3, se používá pro rozsáhlé, cloudově nativní a analytické úlohy. Propojení těchto prostředí často znamenalo budování paralelních infrastruktur, kopírování dat mezi nimi nebo spoléhání se na brány, které překládají volání souborů do objektových API. Tyto překladové vrstvy mohou přinést dodatečnou latenci, složitost a provozní riziko, zejména ve velkém měřítku.
Fusion Direct řeší tento problém zpřístupněním jediného federovaného globálního jmenného prostoru, ve kterém soubory a objekty nativně koexistují. Data lze na platformu zapisovat jako soubory a zpětně číst jako objekty, nebo zapisovat jako objekty a číst jako soubory. Systém podporuje plně obousměrné čtení a zápis bez převodu souborů na proprietární bloky objektů nebo směrování přístupu přes samostatnou překladovou bránu. CTERA explicitně uvádí, že neexistuje žádné úzké hrdlo při převodu souborů na objekty ani žádné proprietární schéma zapouzdření.
Z hlediska přístupu stávající podnikové aplikace a uživatelé nadále fungují přes SMB a NFS stejně jako dnes. Zároveň mohou trénovací clustery umělé inteligence, HPC prostředí a cloudové služby přistupovat ke stejným datovým sadám prostřednictvím S3 a S3 over RDMA, což je navrženo tak, aby poskytovalo propustnost linkové rychlosti pro clustery GPU a další vysoce výkonná výpočetní prostředí.
Využití stávajících úložišť objektů a distribuované Edge
Důležitým bodem návrhu je možnost připojit stávající úložiště S3 přímo k datové infrastruktuře Fusion Direct. Namísto migrace nebo rehydratace objektových dat do nového systému mohou organizace prezentovat své aktuální jmenné prostory úložiště objektů jako součást globálního souborového/objektového prostoru. Po připojení lze k objektům v těchto úložištích přistupovat jako ke standardním souborům napříč okrajovými lokalitami a multicloudovými nasazeními.
Tento přístup umožňuje IT týmům zpřístupnit objektová data jako soubory uživatelům a aplikacím globálně a zároveň je nativně prezentovat jako S3 pro úlohy umělé inteligence a analytiky. Snižuje také potřebu duplicitní infrastruktury, která by jinak byla nasazena ve více regionech nebo okrajových lokalitách pro přípravu nebo přeformátování dat. Čistým výsledkem je jednodušší úložná stopa pro distribuované datové sady pokrývající více geografických oblastí.
Architektura pro výkon v éře umělé inteligence
CTERA Fusion Direct využívá stávající stack inteligentní datové platformy CTERA a je podpořen americkým patentem 12 007 9521. Architektura klade důraz na současnou podporu pro kolaborativní souborové úlohy a vysokokapacitní spotřebu dat v rozsahu strojů.
Jednou z klíčových funkcí je nativní přístup s nulovou kopií. Data zapsaná do platformy CTERA jako soubory jsou okamžitě k dispozici jako standardní objekty S3, bez jakýchkoli sekundárních kopií nebo konverzí na pozadí. Naopak, úložné prostory S3 lze propojit na místě a jejich obsah se stane okamžitě adresovatelným jako soubory v globálním jmenném prostoru. To má zabránit jak latenci, tak i režijním nákladům na úložiště spojeným s duplicitními kopiemi nebo mezipaměťmi.
Další oblastí zájmu je vysokorychlostní streamování souborů. Velké mediální zdroje, trénovací datové sady a další obsah s vysokou kapacitou lze streamovat přímo z objektového úložiště do souborových aplikací. Tento přístup eliminuje potřebu hromadného lokálního stahování nebo přípravných kroků, které mohou zpomalovat pracovní postupy a spotřebovávat další úložiště na okraji sítě nebo ve výpočetních klastrech.
Z hlediska výkonu Fusion Direct zpřístupňuje nativní objekty způsoby, které podporují přístupové vzory S3-over-RDMA a GPU-direct. Pro clustery AI to znamená, že GPU mohou číst a zapisovat data rychlostí bezdrátového připojení nebo téměř rychlostí bezdrátového připojení z objektově podložených datových sad bez nutnosti dodatečného překladu protokolů v datové cestě. To je obzvláště důležité pro úlohy trénování a inference omezené propustností I/O spíše než hrubými výpočty.
CTERA také zdůrazňuje aspekty datové suverenity. Protože data jsou uložena ve standardních úložištích S3 bez proprietárního obalování nebo bran, které vlastní metadata, organizace si zachovávají kontrolu nad svými informacemi napříč lokálními nasazeními i veřejnými cloudy. Architektura má minimalizovat vazbu na datovou vrstvu a zachovat flexibilitu s vývojem strategií infrastruktury.
Hroucení datových sil pro lidi a stroje
Generální ředitel společnosti CTERA Oded Nagel říká, že hlavní překážkou pro zavedení umělé inteligence v podnicích není nedostatek dat, ale problém s efektivním využíváním dat. Zdůrazňuje, že oddělení dat pro lidské použití od dat pro strojovou analýzu vytváří tření. Udržování oddělených prostředí a datových sad zpomaluje zavádění umělé inteligence. Nagel navrhuje sloučit tyto dva systémy do jedné platformy podporující SMB/NFS a S3 přes RDMA, což podnikům poskytne přímou cestu od nezpracovaných dat k datovým sadám připraveným pro umělou inteligenci. Jednotná platforma může organizacím pomoci lépe využívat data a zůstat konkurenceschopnými na trhu poháněném strojovým učením a automatizací.
dostupnost
CTERA Fusion Direct je nyní k dispozici jako součást platformy CTERA Intelligent Data Platform a je klíčovou součástí širší rodiny produktů CTERA Fusion pro sjednocení souborů a objektů. Více informací naleznete na webu CTERA.
Amazon