Eines der weniger bekannten Produkte, an denen Mellanox vor der NVIDIA-Übernahme arbeitete, war eine Datenverarbeitungseinheit (DPU) namens BlueField. Der Vorschlag vor sechs Jahren ähnelt dem heutigen: Speicher (und jetzt auch Beschleuniger) können direkt auf das Netzwerk zugreifen, ohne dass die traditionelle x86-Architektur im Weg steht. Schließlich sind CPUs besser für Anwendungen geeignet als das PCIe-Verkehrsspurmanagement. Die Einführung von BlueField verlief jedoch sehr langsam; Heutzutage gibt es weniger als eine Handvoll kommerzieller Unternehmen, die DPUs nutzen. NVIDIA hat einen neuen Vorstoß, um das zu ändern.
Warum überhaupt DPUs?
Der Reiz der DPU ist ziemlich faszinierend und deshalb investiert NVIDIA stark in ihren Erfolg. Im Vergleich zu den traditionelleren Hochgeschwindigkeits-Ethernet-NICs, die die meisten kennen und lieben, verfügen DPUs einfach über mehr Rechenleistung an Bord, sodass sie eher wie Mini-Computer als wie Vehikel für die Datenübertragung aussehen. Fairerweise muss man jedoch sagen, dass das Hauptziel der DPU im Zusammenhang mit der Speicherung darin besteht, Daten schnell zu verschieben. Nur kann diese Aktion jetzt in einem JBOF durchgeführt werden, ohne dass x86 überhaupt erforderlich ist.
NVIDIA DPU im VAST-Datenknoten
Wir haben dies in letzter Zeit in einigen Fällen beobachtet, wobei ein Unternehmen ein NVIDIA-Produkt nutzt und ein anderes eine eigene DPU einsetzt. VAST Data verwendet die NVIDIA DPU in seinen Datenknoten , die mittlerweile extrem kompakte 1U-Gehäuse sind und 675 TB Flash-Speicher gemeinsam nutzen können. Es gibt jedoch alternative Ansätze: Fungible plant eine Disaggregation mithilfe einer eigenen DPU. Wir hatten deren Speichersystem im Labor , und das Unternehmen hat kürzlich auch ein GPU-Projekt angekündigt.
Fungibles Speicherarray – DPUs im Inneren
Falls Ihnen die vielen Informationen zu DPUs etwas überfordern, ist das verständlich. Die Art und Weise, wie Daten verwaltet und übertragen werden, hat sich seit Langem nicht grundlegend verändert. Wir haben einen Podcast mit NVIDIA zum Thema DPUs aus der Speicherperspektive, der einen hervorragenden Überblick über die aktuellen Marktentwicklungen bietet.
DPUs sind hart
Selbst nach mehr als sechs Jahren Arbeit haben wir nur zwei Beispiele von DPUs gesehen, die in der Praxis gut funktionieren, und wir können wahrscheinlich weniger als eine Handvoll Unternehmen nennen, die sich auch nur an der Laborvalidierung versucht haben. Warum das? Den Aussagen von Systemanbietern zufolge ist es wirklich schwierig, BlueField zu nutzen. Es gibt eine enorme Menge an Softwarearbeit, die erledigt werden muss, und da es sich bei den Karten bisher nicht um einfache Drop-and-go-Produkte handelt, ist der Lift viel schwerer. Kombiniert man dies und die Tatsache, dass traditionelle Speicherunternehmen nur ungern auf Spitzentechnologie setzen, kombiniert mit der Tatsache, dass jede DPU einen anderen Codierungsansatz erfordert, kommt es bei uns nur zu einer geringen DPU-Einführung.
NVIDIA ist sich dessen natürlich bewusst und benötigt dringend schnellere Fahrzeuge, um Daten in ihre GPUs zu übertragen. Fairerweise muss man sagen, dass dies auch von Kunden gewünscht wird, insbesondere bei HPC-Workloads, bei denen es ein Preisziel ist, teure GPU-Investitionen dauerhaft betriebsbereit zu halten. Daher hat sich NVIDIA gestern bemüht, diese Probleme bei der Einführung zu lindern.
NVIDIA ist Gründungsmitglied des Open Programmable Infrastructure (OPI)-Projekts der Linux Foundation. Grundsätzlich hat NVIDIA seine DOCA-Netzwerksoftware-APIs allgemein verfügbar gemacht. Dies bedeutet, dass die umfangreiche Integrationsarbeit zur Inbetriebnahme einer DPU jetzt möglicherweise schneller erfolgen sollte.
Das OPI-Projekt zielt laut einem Blogbeitrag von NVIDIA darauf ab, ein gemeinschaftlich getragenes, standardbasiertes und offenes Ökosystem zu schaffen, um Netzwerk- und andere Infrastrukturaufgaben in Rechenzentren mithilfe von DPUs zu beschleunigen. Das ist natürlich eine positive Entwicklung. Unternehmen und Systemanbieter, für die die Einführung von DPUs bisher eine zu große Hürde darstellte, haben nun einen deutlich einfacheren Weg zur DPU-Einführung.
NVIDIA teilte weiter mit, was sie anbieten wollen;
Was kommt als nächstes für DPUs?
Basierend auf dem, was wir von VAST und Fungible gesehen haben, ist die DPU-Welt sehr real und bereit, einen massiven Einfluss auf das Rechenzentrum und die Cloud zu haben. Die Einführung war eine Herausforderung, da die Softwareintegration schwierig ist. Darüber hinaus ist die Hardware kein direkter Ersatz für Netzwerkkarten. Nicht, dass dies der Fall wäre, aber das ist nicht so, als würde man durch den Austausch von NICs von 25 GbE auf 200 GbE wechseln. Der Aufwand zur Integration von DPUs ist alles andere als trivial.
NVIDIA-DPU
Initiativen wie diese sollten der Branche weiterhelfen, wenn auch nur auf NVIDIA-Chips. DPUs bieten viel Potenzial, wenn es darum geht, die Infrastruktur schneller, sicherer und letztendlich effizienter zu machen. Da fast jedes große Unternehmen an umweltfreundlichen Initiativen arbeitet, ist das Rechenzentrum ein guter Ort, um mit der Einführung moderner Infrastrukturen zu beginnen, die nicht die gleichen Abhängigkeiten aufweisen wie der Legacy-Stack.
Wir sind zuversichtlich, dass dieser Schritt hin zu Open Source den DPU-Stillstand beseitigen wird, denn was mit dieser Technologie möglich ist, ist ziemlich bemerkenswert.
Amazon