Quantum Myriad: Moderne Architektur für jede Arbeitslast, insbesondere KI

Im Jahr 2023 brachte Quantum mit Myriad eine neue, moderne Version von softwaredefiniertem Speicher auf den Markt. Wir haben eine abgeschlossen Tauchen Sie tief in Myriad ein Ende letzten Jahres und waren von seiner äußerst leistungsfähigen und belastbaren Architektur beeindruckt. Der vielfältige Funktionsumfang und die Protokollflexibilität von Myriad erweitern den Umfang seiner Anwendungsfälle über die Anforderungen der Unternehmensdateifreigabe hinaus. Und es gibt derzeit keine Anwendung, die so gefragt ist wie KI.

KI verändert die Unternehmenslandschaft grundlegend, indem sie neue Erkenntnisse in die Entscheidungsfindung einbringt, komplexe Prozesse automatisiert und neue Möglichkeiten für Unternehmen schafft, mit Kunden zu interagieren und Abläufe zu verwalten. Hier sind einige Schlüsselbereiche, in denen KI einen Einfluss hat:

Automation: KI automatisiert routinemäßige, fehleranfällige Aufgaben wie Dateneingabe und Kundensupport mit Chatbots und findet sogar Möglichkeiten, komplexe Prozesse wie das Lieferkettenmanagement zu optimieren. Das spart Zeit und ermöglicht es den Leuten, sich auf kreativere oder strategischere Aufgaben zu konzentrieren.

Datenanalyse: Es durchsucht riesige Datenmengen, um Muster und Erkenntnisse schneller zu finden, als es ein Mensch könnte. Dies hilft Unternehmen, intelligentere Entscheidungen zu treffen, Markttrends vorherzusagen und ihre Kunden besser zu verstehen.

Personalisierung: Unternehmen nutzen KI, um ihre Dienstleistungen und ihr Marketing auf einzelne Kunden abzustimmen, etwa Empfehlungsmaschinen, die lernen, was einem Benutzer gefällt, wenn er auf Netflix oder Spotify angezeigt wird.

Verbesserte Sicherheit : KI ist ein wichtiger Akteur in der Cybersicherheit und hilft dabei, Bedrohungen sofort zu erkennen und darauf zu reagieren. Es ist immer auf der Hut und sucht nach Verdächtigen.

Innovation : KI treibt Innovationen voran, indem sie bei der Entwicklung neuer Produkte und Dienstleistungen hilft – von Medikamenten bis hin zu neuen Materialien – indem sie jeden Aspekt des Designs, des Aussehens und der Haptik sowie der Wartung eines Produkts simuliert. Es kann sogar Ergebnisse vorhersagen, bevor physische Tests für Medikamente durchgeführt werden.

Die Herausforderungen der Skalierbarkeit und Flexibilität

Ältere Speichersysteme lassen sich oft nicht effizient skalieren, eine Fähigkeit, die für KI-Anwendungen, die große Datenmengen generieren und verarbeiten, von entscheidender Bedeutung ist. Herkömmliche Speicher erfordern möglicherweise erhebliche Ausfallzeiten oder komplexe Upgrades sowie Netzwerkkonfiguration und -zuweisung, um die Kapazität zu erhöhen. Dies ist in dynamischen KI-Umgebungen nicht möglich, die schnelle Skalierbarkeit, keine Ausfallzeiten und eine Modellbereitstellung ohne Leistungseinbußen erfordern.

Auch KI-Workloads erfordern einen hohen Durchsatz und gleichzeitig geringe Latenz. Legacy-Systeme, die in der Regel mit mechanischen Antrieben und veralteten Netzwerken ausgestattet sind, können diese Geschwindigkeitsanforderungen nicht erfüllen, was zu Engpässen führt, die den KI-Betrieb behindern. Moderne KI profitiert enorm von schnelleren Technologien wie NVMe und GPU-Beschleunigung, und diese sind oft nicht mit älteren Systemen kompatibel.

KI-Anwendungen erfordern Echtzeit-Datenzugriff und -Analyse aus verschiedenen Quellen. Altspeicher, oft isoliert, behindert die Datenintegration und -bewegung und schränkt effektive Datenanalysen und maschinelles Lernen ein. Ältere Verwaltungstools haben auch Probleme mit der komplexen Datenverwaltung und dem automatisierten Tiering, das für KI erforderlich ist.

Auch die Wartung und Aufrüstung älterer Speicher ist kostspielig und im Hinblick auf KI-Anforderungen ineffizient, einschließlich hoher Betriebskosten für Strom, Kühlung und Platz. Die Nachrüstung alter Systeme zur Unterstützung neuer Technologien ist wirtschaftlich nicht nachhaltig.

KI lebt von modernen Speicherfunktionen wie automatisiertem Tiering, Echtzeitanalysen und robusten Sicherheitsmaßnahmen wie Verschlüsselung. Legacy-Systemen fehlen diese entscheidenden Funktionen, die für den Schutz von KI-Daten und die Einhaltung regulatorischer Standards unerlässlich sind.

Die Modernisierung der Datenverwaltungs- und Speicherinfrastrukturen ist für die Nutzung des transformativen Potenzials der KI von entscheidender Bedeutung. Speicherlösungen der nächsten Generation, die auf KI-Komplexitäten ausgelegt sind, können die Leistung, Skalierbarkeit und Kosteneffizienz erheblich verbessern und so innovative Anwendungen und Geschäftsmodelle fördern.

Lernen Sie Quantum Myriad kennen

Quantum Myriad ist eine leistungsstarke, softwaredefinierte All-Flash-Speicherlösung, die den Anforderungen moderner Anwendungen gerecht wird, insbesondere solchen, die einen hohen Durchsatz und geringe Latenz erfordern. Dies gilt insbesondere für KI, Datenwissenschaft, VFX und Animation. Die Cloud-native Architektur von Myriad bietet Flexibilität, einfache Bereitstellung und automatische Reaktionen auf Systemänderungen, egal ob vor Ort oder in einer öffentlichen Cloud-Umgebung wie AWS.

Das Design von Myriad konzentriert sich auf die Bereitstellung einer konstant niedrigen Latenz und einer hohen Bandbreite. Diese Eigenschaften sind ein absolutes Muss für Anwendungen, die eine blitzschnelle Datenverarbeitung und Echtzeitleistung erfordern.

Die Architektur von Myriad ist äußerst flexibel und eignet sich mühelos für kleine und große Bereitstellungen. Es ist einfach, mit einem kleinen System zu beginnen und dann einen Myriad-Cluster aufzubauen. Wenn Sie weitere Knoten hinzufügen, skaliert es linear und sorgt gleichzeitig für Effizienz und Ausgewogenheit.

Die Verwaltung von Clustern mit Myriad ist einfach. Es ist vollgepackt mit Funktionen wie Speichererweiterungen ohne Mausklick und einem benutzerfreundlichen Verwaltungsportal, die dazu beitragen, den Bedarf an ständiger administrativer Aufmerksamkeit zu reduzieren. Myriad gewährleistet die Datenintegrität mit einem transaktionalen Schlüsselwertspeicher, der über seine Knoten verteilt ist, und die Fehlerkorrektur wird über alle verfügbaren Speicherknoten hinweg verwaltet.

Myriad bietet beeindruckende Netzwerkunterstützung. Durch die Unterstützung von RDMA over Converged Ethernet (RoCE) und die Integration in bestehende Netzwerkbereitstellungen über BGP-Routing können Daten mühelos in den Myriad-Cluster hinein- und herausfließen und gleichzeitig die Vorteile erweiterter Netzwerkfunktionen nutzen.

Myriad ist benutzerfreundlich gestaltet und erfordert nur minimale Schritte zum Einrichten und Ausführen oder Hinzufügen zusätzlicher Freigabespeicherorte. Dies macht es ideal für Unternehmen, die sich schnell an sich ändernde Speicheranforderungen anpassen müssen, insbesondere da die Lösung auf handelsüblichen Standardservern läuft. Und wenn Sie die Cloud im Auge haben, funktioniert Myriad gut mit Plattformen wie AWS, sodass Sie über Ihr lokales Setup hinausgehen können.

Quantum Myriad-Konfiguration im Test

Beim getesteten Quantum Myriad handelte es sich um eine Basiskonfiguration mit fünf Knoten. Jeder Knoten war mit zehn 15-TB-SSDs ausgestattet, was insgesamt eine beträchtliche Menge an Schnellzugriffsspeicher im gesamten Cluster darstellt. Dieses Basis-Setup ermöglichte eine beträchtliche Datenspeicherkapazität bei gleichzeitiger Beibehaltung der für hohe I/O-Vorgänge und schnellen Datenabruf erforderlichen Geschwindigkeit – allesamt unerlässlich für Echtzeitverarbeitung und KI-Berechnungen. Die Speicherknoten werden von SuperMicro spezifiziert und konfiguriert und die NVMe-Laufwerke sind bei Samsung erhältlich.

Im Test verwendeten wir eine Myriad-Plattform, die in einem 5-Knoten-Cluster konfiguriert war und jeweils die folgenden Schlüsselspezifikationen aufwies:

• Quantum Myriad N1010-Speicherknoten mit einer einzelnen AMD EPYC-CPU mit 64 Kernen
• 10 x 15.36 TB NVMe TLC
• 2 x Dual-Port-100-GbE-Ethernet-Ports

Integraler Bestandteil von Myriad sind die Load-Balancer-Knoten, die in einem redundanten Paar eingesetzt werden und über alle Speicherknoten hinweg kreuzverbunden sind. Diese sind für die Verwaltung des Datenverkehrs zu und von den Speicherknoten von entscheidender Bedeutung. Das Load-Balancer-Paar stellt sicher, dass der Netzwerkverkehr gleichmäßig auf die Speicherknoten verteilt wird und verhindert, dass ein einzelner Knoten zu einem Engpass wird. Wenn gleichzeitiger Datenzugriff und -verarbeitung erforderlich sind, ist dies in Umgebungen, in denen die Geschwindigkeit und Zuverlässigkeit des Datenzugriffs erhebliche Auswirkungen auf die Gesamtsystemleistung haben kann, äußerst wichtig.

Die Verwendung mehrerer Knoten und Load Balancer steigert die Leistung und verbessert die Zuverlässigkeit und Fehlertoleranz des Systems. Durch die Verteilung der Speicher- und Netzwerklast kann das System auch dann effizient weiterarbeiten, wenn bei einem Knoten Probleme auftreten. Dieses Setup ist für die Aufrechterhaltung der Betriebszeit und die Gewährleistung der Datenintegrität in kritischen Geschäftsanwendungen von entscheidender Bedeutung.

Die Basiskonfiguration ist flexibel gestaltet und kann bei Bedarf durch Hinzufügen weiterer Speicherknoten erweitert werden. Sie können Ihre Speicherkapazität erweitern, indem Sie zusätzliche Knoten integrieren, dichtere NVMe-Laufwerke verwenden oder beides. Sie könnten beispielsweise einen neuen Speicherknoten mit 30-TB-Laufwerken zu einem System hinzufügen, das derzeit 15-TB-Laufwerke verwendet, oder Sie könnten innerhalb des vorhandenen Platzbedarfs auf dichtere Laufwerksmodule aufrüsten. Diese Skalierbarkeit ist für Unternehmen von entscheidender Bedeutung, die einen Anstieg ihres Datenbedarfs erwarten oder variable Datennutzungsmuster erleben.

Comino GPU Load Gen-Server

Um das Myriad-System auszuprobieren und unsere Benchmarks zu generieren, verwendeten wir ein Paar Comino Grando-Systeme. Bei den Comino Grando-Systemen handelt es sich um leistungsstarke, flüssigkeitsgekühlte Setups, die speziell für die Maximierung der GPU-Effizienz und Stabilität unter Last entwickelt wurden. Sie eignen sich besonders für intensive Rechenaufgaben, wie sie bei KI, Datenanalysen und grafikintensiven Anwendungen vorkommen. Hier ist eine Zusammenfassung der wichtigsten Aspekte, die wir für diesen Test konfiguriert haben:

	Grando Server	Grando-Workstation
CPU	Threadripper Pro W5995WX	ThreadripperPro 3975WX
Widder	512GB RAM	512GB RAM
GPU	2X NVIDIA A100	2X NVIDIA A100
NIC	4x NVIDIA ConnectX 6 200G EN/IB	4x NVIDIA ConnectX 6 200G EN/IB
PSU	4x 1600-W-Netzteile	3x 1000 SFX-L Netzteil
Lagerung	2 TB NVMe	2 TB NVMe

Der Comino Grando nutzt ein ausgeklügeltes Flüssigkeitskühlsystem für den Prozessor und die GPUs, das tropffreie Verbindungen und einen großen Wasserverteilungsblock umfasst, der den Kühlmittelfluss effizient verwaltet, um die Leistung auch unter starker Belastung aufrechtzuerhalten. Dieses Setup steigert die Leistung und minimiert die Geräuschentwicklung.

Verwendung der nvidia-smi top -mp Der Befehl zeigt die GPU- und NIC-Zuordnung in unserem System und die Pfade an, die die Daten nehmen müssen. Hier ist die Legende:

X = Selbst 
SYS = Verbindung über PCIe sowie die SMP-Verbindung zwischen NUMA-Knoten (zB QPI/UPI) 
KNOT = Verbindung über PCIe sowie die Verbindung zwischen PCIe-Host-Bridges innerhalb eines NUMA-Knotens 
PHB = Verbindung über PCIe sowie eine PCIe Host Bridge (typischerweise die CPU) 
PXB = Verbindung über mehrere PCIe-Brücken (ohne die PCIe Host Bridge zu überqueren) 
PIX = Verbindungsdurchquerung bei vor allem warme eine einzelne PCIe-Brücke

Von hier aus können wir erkennen, dass wir GPU1 nicht mit NIC4 und NIC5 für eine optimale Leistung verwenden möchten, obwohl dies in unseren synthetischen Tests nur eine begrenzte Rolle spielt.

Quantum Myriad AI-Tests

Wir haben eine technische Analyse durchgeführt, um die Leistung des Quantum Myriad-Speicherclusters und seine Auswirkungen auf reale KI-Workloads zu bewerten. Unsere Analyse konzentrierte sich auf die Fähigkeit des Clusters, die Ressourcennutzung zu optimieren und effektiv zu skalieren. Während dieser Tests verwendeten wir High-End-Comino-Rack-Workstations, die mit NVIDIA ConnectX-6 200GbE-NICs und zwei NVIDIA A100-GPUs ausgestattet waren. Diese sind von entscheidender Bedeutung, da sie eine robuste Testumgebung darstellen, ähnlich der, die in großen KI-Projekten eingesetzt werden könnte.

Das Hauptziel dieser Tests bestand darin, die Fähigkeit des Quantum Myriad-Clusters zur Bewältigung intensiver E/A-Vorgänge zu bewerten und zu beurteilen, wie gut er den Durchsatz von GPUs mit hoher Kapazität bewältigen kann, die für KI-Berechnungen von entscheidender Bedeutung sind. Da KI-Workloads stark von der schnellen Verarbeitung von Datensätzen abhängen, wirkt sich die Fähigkeit einer Speicherlösung, Daten mit Geschwindigkeiten bereitzustellen, die den GPU-Verarbeitungskapazitäten entsprechen, direkt auf die Effizienz und Leistung des Gesamtsystems aus.

Unser primäres Testtool war NVIDIAs GPUDirect Storage I/O (GDSIO). GPUDirect ist eine Schlüsseltechnologie zur Verbesserung der Datenübertragungseffizienz zwischen Speichersystemen und GPUs und zur Optimierung von Arbeitsabläufen, die für Hochleistungsrechnen, künstliche Intelligenz und Big-Data-Analysen von entscheidender Bedeutung sind.

Diese Technologie ermöglicht den direkten Speicherzugriff (DMA) vom Speicher direkt zum GPU-Speicher, wodurch die CPU praktisch umgangen wird. Dadurch werden unnötige Datenkopien vermieden, was die Latenz reduziert und den Durchsatz verbessert. GDSIO ist die synthetische Implementierung von GPUDirect und ist besonders repräsentativ für Anwendungen, die eine schnelle Verarbeitung großer Datenmengen erfordern. Dazu gehören das Training von Machine-Learning-Modellen oder Echtzeit-Datenanalysen. Es bietet außerdem Profilierungs- und Optimierungsfeedback für die Speicher- und Netzwerkinfrastruktur.

Im Kontext des Speicher-Benchmarkings spielt GDSIO eine entscheidende Rolle bei der genauen Bewertung der Leistung von Speicherlösungen in Umgebungen, in denen GPUs stark genutzt werden. Durch die Bereitstellung eines direkteren Pfads für die Datenübertragung ermöglicht GDSIO ein Benchmarking, um das wahre Potenzial von Speichersystemen bei der Unterstützung GPU-beschleunigter Anwendungen zu messen.

AI-Share-Konfiguration

Beim Anmelden bei Myriad wird dem Benutzer ein Dashboard angezeigt, das einen allgemeinen Überblick über die aktuelle Leistung und Spezifikationen des Clusters bietet. Benutzer können Telemetriedaten wie IOPS, Durchsatz, Latenz und Nutzung problemlos anzeigen.

Wenn Sie mit der Maus über eines der Diagramme fahren, erhalten Sie äußerst detaillierte Leistungsinformationen.

Auf dem Bildschirm „Dateisystem“ sind die aktuell konfigurierten Mountpunkte für Freigaben intuitiv sichtbar.

Die Seite „Knoten“ ist interessant. Sie zeigt die physische Karte des Clusters, des Controllers und der Load Balancer sowie die Portaktivität und NVMe-Laufwerke.

Wenn Sie auf eines der Laufwerke klicken, wird der vom Host gemeldete Status angezeigt.

Unter „Freigaben“ können Benutzer die Freigaben ganz einfach nach Bedarf konfigurieren und erhalten Anweisungen zum Mounten in verschiedenen Betriebssystemen.

Wir haben mit Quantum zusammengearbeitet, um für unsere Tests eine dedizierte NFS-Freigabe einzurichten. Diese wurden bei montiert /mnt/myriad/

Dies wurde mithilfe der benutzerfreundlichen Myriad-Benutzeroberfläche erreicht, die eine einfache Point-and-Click-Konfigurationseinrichtung ermöglicht. Während des Testzeitraums befand sich die SMB-Option im Early Access, während NFS das bevorzugte Protokoll für unsere Linux-basierten Workload-Maschinen blieb.

Unser NFS-Mount-Punkt war für 500 TB Speicherplatz konfiguriert, aber Sie können alles verwenden, was Sie benötigen, indem Sie das Dateisystem erweitern. Sie können Speicher frei und ohne Nachteile überdimensionieren, und es gibt keine feste Größenbegrenzung. Dies wird sehr interessant, wenn man die Datenkomprimierung von Myriad berücksichtigt, die den Datenspeicherplatz auf den NVMe-SSDs wesentlich reduziert.

Mit einem Mount-Punkt pro Host verfügt jede GPU über einen eigenen Unterordner und verwendet ihre eigene Netzwerkkarte, um eine NFSv4-Einschränkung zu vermeiden.

Quantum Myriad AI-Ergebnisse und -Analyse

Schauen wir uns zunächst die Gesamtleistung eines unserer Loadgen-Läufe an. Dieses Beispiel aus der Perspektive einer GPU auf den Speicher stellt die Leistung dar, die wir über alle Knoten/GPUs hinweg sehen konnten.

IO-Typ	IO-Größe (KiB)	Durchsatz (GiB/s)	Durchschnittliche Latenz (usecs)	Einkauf & Prozesse
RANDSCHREIBEN	1024	2.57	10,087.74	78,820
RANDREAD	1024	6.92	2,277.86	209,319
RANDSCHREIBEN	4096	3.44	18,193.14	56,616
RANDREAD	4096	3.64	6,481.70	73,715
RANDSCHREIBEN	4	0.03	2,307.57	237,512
RANDREAD	4	0.12	497.05	941,971
SCHREIBEN	1024	2.79	5,609.64	94,017
weiter LESEN	1024	3.11	5,021.91	95,556
SCHREIBEN	4096	2.77	22,551.26	31,716
weiter LESEN	4096	3.50	17,875.32	31,871
SCHREIBEN	4	0.08	812.93	580,169
weiter LESEN	4	0.12	507.34	926,909

Die Testergebnisse geben wichtige Einblicke in die Leistung von Myriad bei verschiedenen E/A-Vorgängen und -Größen. Zu unseren Erkenntnissen gehören:

• Leistung kleiner und großer Blöcke: Die Tests zeigen einen deutlichen Unterschied im Durchsatz und in der Latenz bei der Verarbeitung kleiner (4 KiB) und großer (1024 KiB und 4096 KiB) Blockgrößen. Beispielsweise zeigten RANDREAD-Vorgänge mit großen Blöcken bei 4096 KiB den höchsten Durchsatz von etwa 9.64 GiB/s bei einer relativ geringeren durchschnittlichen Latenz von 6,481.70 Mikrosekunden. Dies weist auf eine hervorragende Leistung bei umfangreichen Datenverarbeitungsaufgaben hin, die beim Modelltraining für maschinelles Lernen üblich sind und bei denen häufig auf große Datensätze zugegriffen wird.
• GPU-Sättigungskapazität: Der bei großen Blocktests, insbesondere bei RANDREAD-Vorgängen, erreichte Durchsatz legt nahe, dass der Myriad-Speichercluster durchaus in der Lage ist, die NVIDIA A100-GPUs bei Workloads vom Typ Inference Retrieval zu unterstützen und Prüfpunkte während Trainingsworkloads an einen zentralen Ort zu verlagern. Da der A100 riesige Datenmengen für Deep Learning verarbeiten kann, sind die hohen Durchsatzraten von entscheidender Bedeutung, um sicherzustellen, dass diese GPUs nicht untätig auf Daten warten und so die Recheneffizienz maximieren.
• Handhabung geringer Blockgrößen: Umgekehrt beobachteten wir bei der Untersuchung von Vorgängen mit 4-KiB-Blöcken einen dramatischen Anstieg der Anzahl und Latenz der Vorgänge bei einem deutlichen Rückgang des Durchsatzes. Dieses Szenario ist entscheidend für das Verständnis der Leistung in Umgebungen, in denen mehrere kleine Dateitransaktionen stattfinden, beispielsweise in Online-Transaktionsverarbeitungssystemen oder Datenbanken, die zahlreiche kleine Abfragen verarbeiten.

Aber warte, es gibt noch mehr!

Als wir uns auf die 4K-Tests konzentrierten, nahmen die Dinge eine interessante Wendung, als wir Myriad mit mehr GPUs bestückten. Aufgrund der Einschränkungen des Montageprotokolls, die bei den ersten Durchläufen während der Entdeckungsphase festgestellt wurden, verhielt sich Myriad wie beabsichtigt, jedoch mit einer überraschenden Wendung. Da wir Myriad dank einiger Scripting-Hacks gleichzeitig auf allen GPUs geladen haben, waren die Ergebnisse beeindruckend. Myriad lieferte im Wesentlichen die gleiche Leistung für alle Knoten gleichzeitig.

4K-Dateigröße

Hier ist eine Zusammenstellung von fünf gleichzeitigen Durchläufen des 4K-Workloads:

Knoten	IO-Typ	Durchsatz (MiB/s)	Durchschnittliche Latenz (usecs)	Einkauf & Prozesse
1	RANDREAD	125.73	497.05	941,971
2	RANDREAD	121.29	506.67	907,642
3	RANDREAD	128.37	474.73	906,847
4	RANDREAD	122.93	487.88	966,441
Gesamtzahl der zufälligen Lesevorgänge		498.31	491.58	3,722,901
1	RANDSCHREIBEN	27.08	2,307.57	237,512
2	RANDSCHREIBEN	26.88	2,285.62	231,625
3	RANDSCHREIBEN	26.10	2,406.89	228,983
4	RANDSCHREIBEN	28.27	2,341.65	245,172
Insgesamt zufälliges Schreiben		108.34	2,335.43	943,292
1	weiter LESEN	123.19	507.34	926,909
2	weiter LESEN	125.69	511.23	900,136
3	weiter LESEN	123.90	502.04	945,949
4	weiter LESEN	123.77	502.36	948,850
Insgesamt gelesen		496.54	505.74	3,721,844
1	SCHREIBEN	76.87	812.93	580,169
2	SCHREIBEN	80.17	839.88	551,311
3	SCHREIBEN	78.62	783.24	556,060
4	SCHREIBEN	73.40	811.62	597,226
Gesamtschreibwert		309.06	811.92	2,284,766

4 MB Dateigröße

Knoten	IO-Typ	Durchsatz (GiB/s)	Durchschnittliche Latenz (usecs)	Einkauf & Prozesse
1	RANDREAD	3.44	6,481.70	73,715
2	RANDREAD	3.97	6802.17	75,689
3	RANDREAD	3.83	6498.16	73,277
4	RANDREAD	3.50	6,589.43	70,443
Gesamtzahl der zufälligen Lesevorgänge		14.75	6,593	293,124
1	RANDSCHREIBEN	3.44	18,193.14	56,616
2	RANDSCHREIBEN	3.4048	19090.38	54,725
3	RANDSCHREIBEN	3.4349	18125.25	56,277
4	RANDSCHREIBEN	3.5084	17018.30	54,397
Insgesamt zufälliges Schreiben		13.78	18,107	222,015
1	weiter LESEN	3.50	17,875.32	31,871
2	weiter LESEN	3.4388	17110.93	31,119
3	weiter LESEN	3.5133	18124.53	31,096
4	weiter LESEN	3.3035	17755.53	31,257
Insgesamt gelesen		13.75	17,717	125,343
1	SCHREIBEN	2.77	22,551.26	31,716
2	SCHREIBEN	2.8845	23674.69	33,017
3	SCHREIBEN	2.7008	22661.31	30,971
4	SCHREIBEN	2.7719	22798.83	29,519
Gesamtschreibwert		11.13	22,922	125,223

Die einzigartige Speicherarchitektur von Quantum Myriad bietet doppelten Zugriff, der sowohl GPU-Vorgängen als auch gleichzeitigen Benutzeraktivitäten ohne Leistungsverlust zugute kommt. Dies ist besonders effektiv in Umgebungen mit hoher Nachfrage, in denen gleichzeitiger Datenzugriff und -verarbeitung erforderlich sind, ähnlich einer Benutzergemeinschaft aus KI und maschinellem Lernen, Server- und Endbenutzer-Analystenzugriff. Durch die Unterstützung des Zugriffs auf große Datenblöcke für GPUs neben anderen Benutzervorgängen gewährleistet Myriad eine effiziente Ressourcennutzung und verhindert Engpässe. Dies ist entscheidend für die Aufrechterhaltung hoher Betriebsgeschwindigkeiten und Datengenauigkeit in Anwendungen wie Echtzeitanalysen und KI-Modelltraining.

An dieser Stelle ist anzumerken, dass der Clou von Quantum Myriad seine Fähigkeit ist, mehrere Datenströme bis hin zu den Einschränkungen von NFSv4 geschickt zu verarbeiten, die bei intensiver GPU-Last leicht erreicht werden können. Die hochentwickelten Datenverwaltungsfunktionen des Systems verhindern, dass sich diese Einschränkungen auf die Gesamtleistung der Myriad-Plattform auswirken, und stellen so sicher, dass GPU-Aufgaben mit hoher Nachfrage andere Vorgänge im selben Netzwerk nicht verlangsamen. Diese Funktion ist besonders vorteilhaft für Branchen, die robuste Datenverarbeitungsfunktionen benötigen, ohne die Leistung gleichzeitiger Aufgaben zu beeinträchtigen, und unterstützt einen nahtlosen Arbeitsablauf für alle Benutzer.

Auswirkungen und Skalierung auf die reale Welt

Quantum Myriad hat das Potenzial, problemlos mit realen Anwendungen und Skalierungsszenarien zu arbeiten. Seine Fähigkeit, große Blockgrößen mit hohem Durchsatz und geringer Latenz zu verarbeiten, kommt KI-Arbeitslasten zugute, einschließlich der Schulung von Deep-Learning-Modellen, bei denen große Datensätze stapelweise verarbeitet werden. Ein hoher Durchsatz sorgt dafür, dass Daten ohne Verzögerung in die GPUs eingespeist werden, was für die Aufrechterhaltung einer hohen Auslastung und effizientes Lernen von entscheidender Bedeutung ist.

Ein weiteres wesentliches Merkmal ist die Skalierbarkeit. Die Leistung des Quantum Myriad-Speicherclusters in unseren Tests lässt darauf schließen, dass er größere Konfigurationen effizient unterstützen kann. Mit zunehmender Anzahl angeschlossener Geräte (z. B. zusätzliche GPUs oder andere Hochleistungsrecheneinheiten) scheint das Speichersystem in der Lage zu sein, ein hohes Maß an Datenbereitstellung aufrechtzuerhalten, ohne zu einem Engpass zu werden.

Die Leistung des Quantum Myriad-Speicherclusters bei RANDREAD-Vorgängen mit großen Blöcken war bei unseren Tests besonders bemerkenswert. Diese Fähigkeit ist von entscheidender Bedeutung, wenn man die Anforderungen moderner KI- und maschineller Lern-Frameworks berücksichtigt.

Der RANDREAD-Test mit seinem erheblichen Durchsatz zeigt die Fähigkeit von Myriad, große Datenmengen schnell und effizient abzurufen. Dies ist besonders wichtig im Zusammenhang mit Inferenz-Workloads, bei denen sich die Geschwindigkeit, mit der auf Daten zugegriffen werden kann, direkt auf die Leistung von KI-Modellen in Produktionsumgebungen auswirkt. Inferenzaufgaben, die oft einen schnellen Zugriff auf große Datensätze für die Entscheidungsfindung in Echtzeit erfordern, profitieren enorm von den Hochgeschwindigkeits-Datenabruffunktionen des Myriad-Clusters. Beispielsweise stellt die Fähigkeit, große Datenblöcke mit minimaler Latenz abzurufen, bei Anwendungen wie der Bilderkennung in Echtzeit oder komplexen Entscheidungsmaschinen, die automatisierte Systeme antreiben, sicher, dass die Inferenzmaschinen mit höchster Effizienz arbeiten können, ohne bei der Suche nach Daten ins Stocken zu geraten.

Während der Testphase zeigte Myriad Robustheit bei der Verarbeitung von Checkpoint-Daten während Trainings-Workloads, was ebenso wichtig ist wie die Leistung des Clusters während Schreibvorgängen. Das Training moderner KI-Modelle, insbesondere von Deep-Learning-Netzwerken, erfordert iterative Prozesse, bei denen Kontrollpunkte von entscheidender Bedeutung sind. Diese Prüfpunkte, die den Status des Modells bei einer bestimmten Iteration darstellen, müssen regelmäßig gespeichert werden, um sicherzustellen, dass der Fortschritt nicht verloren geht und die Modelle effektiv verfeinert werden können, ohne dass sie von Grund auf neu trainiert werden müssen. Myriad verlagert große Schreibvorgänge effizient auf den Speichercluster, reduziert die E/A-Zeit und ermöglicht es GPUs, sich auf die Berechnung statt auf die Datenverarbeitung zu konzentrieren.

Die Architektur von Myriad stellt sicher, dass das System bei steigenden Datenanforderungen, sei es aufgrund größerer Datensätze oder komplexerer Modellschulungsanforderungen, entsprechend skaliert werden kann, ohne dass es zu Engpässen, Ausfallzeiten oder Verlust der Benutzerkonnektivität kommt. Diese Skalierbarkeit ist in einer Zeit, in der sich die Arbeitslasten im Bereich KI und maschinelles Lernen schnell weiterentwickeln, von entscheidender Bedeutung und erfordert Speicherlösungen, die mit den aktuellen Anforderungen Schritt halten und zukunftssicher für bevorstehende Fortschritte in der KI-Forschung und -Entwicklung sind.

Fazit

Der Quantum Myriad-Speichercluster weist eine außergewöhnliche Leistung bei der Verwaltung verschiedener und anspruchsvoller I/O-Vorgänge auf. Es handelt sich um eine vielseitige Lösung für traditionelle Geschäfts-Workloads und hochmoderne KI-Anwendungen. Dank des hohen Durchsatzes und der geringen Latenz gehen die Fähigkeiten von Myriad über herkömmliche Data-Warehousing-Aufgaben hinaus, die für die Aufrechterhaltung reibungsloser Abläufe und einen effizienten Datenabruf von entscheidender Bedeutung sind.

Zusätzlich zu diesen konventionellen Einsatzmöglichkeiten ist Myriad aufgrund seiner robusten Leistungsmerkmale ein idealer Kandidat für die intensiveren Anforderungen von KI-Workflows. Hier zeichnet sich der Cluster in Szenarien aus, die einen schnellen Datenzugriff und eine Hochgeschwindigkeitsverarbeitung erfordern, was für das Training anspruchsvoller Modelle für maschinelles Lernen und den Betrieb komplexer neuronaler Netze von entscheidender Bedeutung ist. Die Möglichkeit, große, gemeinsam genutzte Datenmengen schnell zu lesen und zu schreiben, kann die GPU-Auslastung erhöhen und sicherstellen, dass KI-Berechnungen ohne Verzögerung durchgeführt werden können.

Diese umfassenden Tests des Myriad-Clusters dienen als entscheidender Maßstab für das Verständnis seiner Skalierbarkeit und Leistung in Umgebungen, die traditionelle IT- und Geschäftsanforderungen mit den hohen Anforderungen der KI-Forschung und -Entwicklung kombinieren. Die Ergebnisse unterstreichen die technischen Fähigkeiten von Myriad und sein Potenzial, anspruchsvolle KI-Anwendungen und maschinelle Lernprojekte zu ermöglichen, und unterstreichen seine Anpassungsfähigkeit und Effizienz über ein breites Spektrum von Rechenaufgaben hinweg. Diese Fähigkeiten bestätigen die Rolle von Myriad als grundlegende Technologie, die Unternehmen bei der Bewältigung aktueller Anforderungen und zukünftiger Technologielandschaften unterstützt.

Quantum Myriad-Produktseite

Dieser Bericht wird von Quantum gesponsert. Alle in diesem Bericht geäußerten Ansichten und Meinungen basieren auf unserer unvoreingenommenen Sicht auf das/die betrachtete(n) Produkt(e).