Pure Storage hat FlashBlade//EXA vorgestellt, die leistungsstärkste Datenspeicherplattform der Branche, die für die anspruchsvollsten KI- und HPC-Workloads (High-Performance Computing) entwickelt wurde. Das neue Angebot basiert auf der bewährten FlashBlade-Architektur und beseitigt Metadatenengpässe, die das Potenzial von KI bisher eingeschränkt haben. FlashBlade//EXA wurde für hohe Parallelität entwickelt und ist für die umfangreichen Metadatenanforderungen von groß angelegter KI und HPC geeignet. Es soll eine Leseleistung von über 10 Terabyte pro Sekunde innerhalb eines einzigen Namespaces bieten und damit einen neuen Leistungsstandard setzen.
Die grundlegende Architektur von FlashBlade//EXA skaliert Daten und Metadaten unabhängig voneinander. Unternehmen können durch die Nutzung leicht verfügbarer Datenknoten von Drittanbietern nahezu unbegrenzte Erweiterungen und mehrdimensionale Leistung erzielen. Die Verwendung von Standardprotokollen und Netzwerkstandards vereinfacht zudem Bereitstellung, Verwaltung und Skalierung und ermöglicht so die problemlose Integration in verschiedene Unternehmensumgebungen.
Paradigmenwechsel in der Datenspeicherung
Da GPUs immer leistungsfähiger werden und das Training großer KI-Modelle beschleunigen, müssen sich Datenspeichersysteme an die steigenden Anforderungen an Rechenintensität, Datenvolumen und Datenvielfalt anpassen. Herkömmliche Speicherlösungen, die ursprünglich für vorhersehbare HPC-Workloads entwickelt wurden, versagen oft in kritischen Bereichen moderner KI, wie beispielsweise gleichzeitigem Lesen und Schreiben, Metadatenleistung, geringer Latenz und asynchronem Checkpointing.
Rob Lee, Chief Technology Officer bei Pure Storage, betonte die Bedeutung einer Lösung, die Daten und Metadaten unabhängig voneinander skaliert. Er betonte, dass die massiv parallele Architektur von FlashBlade//EXA unübertroffene Leistung, Skalierbarkeit und Anpassungsfähigkeit bietet und dass Speicher der nächsten Generation nun die Entwicklung von HPC und KI im großen Maßstab aktiv vorantreiben können.
Eine wirklich moderne Speicherlösung sollte ein disaggregiertes, paralleles Design bieten, um KI im großen Maßstab effektiv zu beschleunigen. Unternehmen können mühelos Ressourcen hinzufügen, um mit der schnellen und kontinuierlichen Transformation der KI Schritt zu halten, indem sie sich von einem Einheitsansatz verabschieden.
Was also sind Metadaten und warum sind sie wichtig?
Metadaten sind Informationen über gespeicherte Daten, die deren Identifizierung, Kategorisierung, Zugänglichkeit und Abruf ermöglichen. In Datenverwaltungs- und Speicher-Arrays umfassen Metadaten wichtige Details wie Dateinamen, -größen, -erstellungsdaten, Berechtigungen und Speicherorte innerhalb des Speichersystems. Mit zunehmender Skalierung von Speichersystemen und wachsenden Datensätzen nimmt auch das Metadatenvolumen deutlich zu. Ohne effizientes Metadatenmanagement kann dieses Wachstum zu Leistungsengpässen, langsamerem Datenabruf und erhöhter Latenz führen. Dies ist insbesondere bei KI- und HPC-Workloads problematisch, die einen schnellen, gleichzeitigen Zugriff auf riesige Datensätze erfordern. Ein effektiver Umgang mit Metadaten ist daher entscheidend für die Aufrechterhaltung hoher Leistung, Zuverlässigkeit und Effizienz in großen Speicherumgebungen.
Eine moderne Architektur für KI- und HPC-Workloads
Herkömmliche Hochleistungsspeichertechnologien wurden für die Verarbeitung vorhersehbarer HPC-Workloads entwickelt, deren Schwerpunkt auf der Skalierung der Rohleistung lag. Im Gegensatz dazu erfordern moderne KI-Aufgaben die parallele Verarbeitung verschiedener Datentypen – Text, Bilder und Videos – auf Zehntausenden von GPUs. Dieser Wandel erfordert Architekturen, die Metadaten optimieren und gleichzeitig eine hohe Leistung bieten, um hohe Parallelität effizient zu bewältigen.
FlashBlade//EXA erfüllt diese Anforderungen mit einem disaggregierten, hochparallelen Design, das auf Performance- und Metadatenskalierung abzielt. Dieser Ansatz hilft Unternehmen, sich an wachsende multimodale KI-Modelle anzupassen, die Zuverlässigkeit zu verbessern und Leerlaufzeiten zu reduzieren. Um KI- und HPC-Workloads weiter zu optimieren, integriert FlashBlade//EXA Hochgeschwindigkeits-NVIDIA ConnectX-NICs, Spectrum-Switches, LinkX-Kabel und beschleunigte Kommunikationsbibliotheken. Dies gewährleistet einen nahtlosen Datenverkehr und eine geringe Latenzzeit für umfangreiches Training und Inferenz. Dadurch können Unternehmen Training und Inferenz beschleunigen, die GPU-Auslastung maximieren und die Gesamtzeit bis zur Erkenntnisgewinnung verkürzen. Durch die Kombination der Metadaten-Engine und des Purity-Betriebssystems von Pure Storage mit kostengünstigen Standard-Datenknoten erzielen Unternehmen zudem ein hervorragendes Preis-Leistungs-Verhältnis, das den Anforderungen großer KI-Projekte gerecht wird.
Hauptfunktionen von FlashBlade//EXA
Branchenführende Leistung im großen Maßstab
FlashBlade//EXA nutzt die umfassende Erfahrung von Pure Storage in der Metadatenoptimierung, um die Pipeline-Effizienz für KI-Training und -Inferenz zu maximieren. Vorläufigen Tests zufolge kann es eine Leseleistung von über 10 Terabyte pro Sekunde in einem einzigen Namespace liefern und setzt damit einen neuen Leistungsstandard in der Branche. Diese Fähigkeit basiert auf massiv paralleler Verarbeitung und skalierbaren Metadaten-IOPS und ermöglicht es Unternehmen, die Anforderungen an Hochgeschwindigkeits-KI nahtlos zu erfüllen.
Reduzierte Verwaltungskomplexität
Durch die Beseitigung von Metadatenengpässen bewältigt FlashBlade//EXA eine der größten Herausforderungen bei KI-Workloads: die effiziente Verarbeitung riesiger Datensätze. Dank hoher Metadatenleistung, Verfügbarkeit und Ausfallsicherheit können KI-Implementierungen ohne manuelles Tuning oder spezielle Konfiguration ausgeführt werden. Dadurch profitieren Unternehmen von weniger operativen Hürden bei der Verwaltung großer oder sich schnell entwickelnder Datensätze.
Beschleunigte KI-Innovation
Die disaggregierte Architektur von FlashBlade//EXA ist hochgradig konfigurierbar und lässt sich in branchenübliche Protokolle, einschließlich der beschleunigten Kommunikationsbibliotheken von NVIDIA, integrieren, um KI-Training und -Inferenz mit hoher Bandbreite zu ermöglichen. Diese tiefe Integration stellt sicher, dass Unternehmen die GPU-Auslastung maximieren und gleichzeitig die Flexibilität zur effizienten Skalierung von KI-Workloads erhalten. Dieses Design fördert die nahtlose Weiterentwicklung innerhalb der KI- und HPC-Landschaft und stellt sicher, dass Unternehmen sich schnell an neue Datentypen, innovative Anwendungen und neue Modelle anpassen können, ohne Kompromisse bei Leistung oder Zuverlässigkeit einzugehen.
Verfügbarkeit
Die Veröffentlichung von FlashBlade//EXA ist für Sommer 2025 geplant.
Amazon