PEAK:AIO hat eine innovative Lösung vorgestellt, die KVCache-Beschleunigung mit GPU-Speichererweiterung vereint und damit den Anforderungen umfangreicher KI-Workloads gerecht wird. Die neue Plattform adressiert die Bedürfnisse von Inferenz, agentenbasierten Systemen und Modellerstellung, da KI-Anwendungen zunehmend dynamische Kontextströme und langlaufende Agenten nutzen und so von statischen Eingabeaufforderungen wegkommen. Die steigende Komplexität von KI-Workloads erfordert eine entsprechende Weiterentwicklung der Infrastruktur, und das neueste Angebot von PEAK:AIO ist genau darauf ausgelegt, diese Herausforderungen zu meistern.
Eyal Lemberger, Mitbegründer und Chief AI Strategist bei PEAK:AIO, betont die Notwendigkeit, den Token-Verlauf als Arbeitsspeicher und nicht als herkömmlichen Speicher zu behandeln. Er weist darauf hin, dass moderne KI-Modelle mehr als 500 GB Arbeitsspeicher pro Instanz benötigen können und die Skalierung des Arbeitsspeichers mit den Fortschritten in der Rechenleistung Schritt halten muss. Lemberger weist darauf hin, dass mit dem Wachstum und der zunehmenden Komplexität von Transformer-Modellen herkömmliche Ansätze wie die Nachrüstung von Speicherstapeln oder die Überdehnung von NVMe nicht mehr ausreichen. Die neue 1U Token Memory Platform von PEAK:AIO ist speziell für speicherzentrierte Operationen und nicht für die Dateispeicherung konzipiert und stellt damit eine deutliche Abkehr von herkömmlichen Architekturen dar.
Tokenzentrierte Architektur für skalierbare KI
Die PEAK:AIO-Plattform ist die erste, die eine tokenzentrierte Architektur implementiert, die CXL-Speicher, Gen5 NVMe und GPUDirect RDMA nutzt, um einen anhaltenden Durchsatz von bis zu 150 GB/s mit einer Latenz von unter 5 Mikrosekunden zu liefern.
Die Plattform unterstützt die Wiederverwendung von KVCache über Sitzungen, Modelle und Knoten hinweg und ermöglicht so eine effizientere Speichernutzung und schnellere Kontextwechsel. Sie ermöglicht außerdem die Erweiterung des Kontextfensters, die für die Aufrechterhaltung längerer LLM-Verläufe und die Unterstützung komplexerer KI-Interaktionen entscheidend ist. Durch die Auslastung des GPU-Speichers durch echtes CXL-Tiering verringert die Lösung die GPU-Speichersättigung, einen häufigen Engpass bei groß angelegten KI-Implementierungen. Der Zugriff mit extrem niedriger Latenz wird durch RDMA über NVMe-oF erreicht, wodurch sichergestellt wird, dass Token-Speicher mit Speicherklassengeschwindigkeiten verfügbar ist.
Im Gegensatz zu herkömmlichen NVMe-basierten Speicherlösungen ist die Architektur von PEAK:AIO als echte Speicherinfrastruktur konzipiert. Dies ermöglicht es Teams, Token-Verläufe, Aufmerksamkeitskarten und Streaming-Daten mit der Geschwindigkeit und Effizienz von RAM zu cachen, anstatt diese Elemente als Dateien zu behandeln. Die Plattform ist vollständig auf NVIDIAs KVCache-Wiederverwendungs- und Speicherrückgewinnungsmodelle abgestimmt und bietet eine nahtlose Integration für Teams, die mit TensorRT-LLM oder Triton arbeiten. Diese Plug-in-Kompatibilität beschleunigt die Inferenz und reduziert den Integrationsaufwand, was einen erheblichen Leistungsvorteil bietet.
Lemberger betont, dass andere Anbieter zwar versuchen, Dateisysteme so anzupassen, dass sie sich wie Speicher verhalten, PEAK:AIO hingegen eine Infrastruktur entwickelt hat, die von Natur aus wie Speicher funktioniert. Diese Unterscheidung ist entscheidend für moderne KI, bei der der schnelle, speicherbasierte Zugriff auf jedes Token und nicht nur auf den Dateispeicher Priorität hat.
Mark Klarzynski, Mitgründer und Chief Strategy Officer von PEAK:AIO, hebt die CXL-Technologie als entscheidendes Differenzierungsmerkmal hervor. Er beschreibt die Plattform als echte Speicherstruktur für KI, im Gegensatz zu Wettbewerbern, die NVMe-Geräte stapeln. Klarzynski betont, dass diese Innovation unerlässlich ist, um echte Speicherkapazitäten im großen Maßstab bereitzustellen und die nächste Generation von KI-Workloads zu unterstützen.
Die Lösung ist vollständig softwaredefiniert und läuft auf handelsüblichen Servern. Dadurch ist sie für verschiedene Unternehmens- und Cloud-Umgebungen zugänglich und skalierbar. PEAK:AIO erwartet, dass die Plattform im dritten Quartal in Produktion geht und sich als transformative Technologie für den technischen Vertrieb, Entwicklungsteams und Führungskräfte positioniert, die ihre KI-Infrastruktur zukunftssicher gestalten möchten.
Amazon