IBM hat eine inhaltsbasierte Speicherarchitektur (CAS) eingeführt, die KI-Datenverarbeitung direkt in die Speicherschicht integriert. Dieser Ansatz zielt auf Retrieval-Augmented Generation (RAG)-Workflows ab, indem die Dokumentenvektorisierung in das Speichersystem eingebettet wird, wodurch der Bedarf an externen Vorverarbeitungspipelines reduziert wird.
CAS verlagert eine zentrale RAG-Funktion, das Einbetten von Dokumenten mithilfe großer sprachmodellbasierter Verfahren, in die Speicherinfrastruktur. Dadurch können Unternehmen Daten direkt vor Ort verarbeiten und indizieren, Speichersysteme an KI-gesteuerte Workloads anpassen und den Datentransfer zwischen verschiedenen Infrastrukturebenen reduzieren. IBM positioniert dies als Möglichkeit, die Bereitstellung zu vereinfachen und gleichzeitig die Leistung und Datenlokalität für KI-Anwendungen zu verbessern.
Vektordatenbank im großen Maßstab
Kernstück der CAS-Implementierung von IBM ist eine für die semantische Suche optimierte Vektordatenbank. Vektordatenbanken unterstützen die approximative Nächste-Nachbarn-Suche und ermöglichen es KI-Systemen, relevante Datenblöcke anhand von Ähnlichkeitsmetriken wie Kosinusähnlichkeit oder L2-Distanz abzurufen. Diese Funktionalität ist grundlegend für RAG, bei dem Benutzeranfragen in Vektoren umgewandelt und mit indizierten Unternehmensdaten abgeglichen werden, um kontextbezogene Antworten zu liefern.
Quelle: IBM
IBM Research hat in Zusammenarbeit mit Samsung und NVIDIA ein Prototyp-System vorgestellt, das auf einem einzigen Server bis zu 100 Milliarden Vektoren verarbeiten kann. Das System erreichte eine Trefferquote und Präzision von über 90 Prozent bei einer durchschnittlichen Abfragelatenz von unter 700 Millisekunden. Diese Skalierung ist für Unternehmensumgebungen geeignet, in denen Datensätze Milliarden von Dateien umfassen und nach vollständiger Indizierung Hunderte von Milliarden Vektoren erreichen können.
RAG-Pipeline-Integration
RAG etabliert sich als bevorzugter Ansatz für KI in Unternehmen, da er die Genauigkeit der Ergebnisse verbessert, ohne dass ein erneutes Modelltraining erforderlich ist. Er funktioniert, indem er Eingabeaufforderungen mit unternehmensspezifischen Daten aus einer Vektordatenbank anreichert.
Die Verarbeitungskette beginnt mit der Datenerfassung, bei der Dokumente wie PDFs und Präsentationen analysiert, in Segmente unterteilt und in Vektoren umgewandelt werden. Diese Vektoren werden in einer Vektordatenbank gespeichert, die die Daten für eine effiziente Ähnlichkeitssuche organisiert. Bei Abfragen werden Benutzereingaben eingebettet und mit den gespeicherten Vektoren abgeglichen. Relevante Inhalte werden dem Sprachmodell als Kontext übergeben. Dieser Mechanismus reduziert Fehlinterpretationen und stärkt das Vertrauen in KI-generierte Ergebnisse.
IBMs CAS integriert diese Pipeline direkt in den Speicher und konsolidiert so die Datenerfassung, -indizierung und -abfrage näher an den Daten.
Bewältigung von Herausforderungen in Bezug auf Größe und Kosten
Enterprise-Speichersysteme arbeiten bereits im Petabyte-Bereich. Bei der Erweiterung auf CAS kann jede Datei Hunderte von Vektoren erzeugen, wodurch die Datensatzgröße rapide ansteigt. Traditionelle Vektordatenbanken werden typischerweise auf mehrere Server verteilt, was zu höheren Kosten und komplexeren Abläufen führt. Auch das Indizieren und Reindizieren großer Datensätze ist zeitaufwändig.
IBMs Ansatz konzentriert sich auf die Verbesserung der Vektordichte und die Reduzierung des Indexierungsaufwands, um die Infrastrukturausweitung einzuschränken. Die Architektur entkoppelt Vektor- und Indexspeicherung von der Abfrageberechnung und ermöglicht so die unabhängige Skalierung von Speicher- und Rechenressourcen. Dies wird durch IBM Storage Scale und sein leistungsstarkes paralleles Dateisystem ermöglicht.
Speicher- und Hardwarearchitektur
Die CAS-Implementierung nutzt die IBM Storage Scale System 6000 Die ESS 6000 ist eine All-Flash-Plattform, die speziell für KI und rechenintensive Workloads entwickelt wurde. Das System unterstützt bis zu 48 NVMe-Laufwerke pro 4U-Gehäuse mit Kapazitäten von 7 TB bis 60 TB pro Laufwerk. Es bietet PCIe Gen5-, 400-Gb-InfiniBand- oder 200-Gb-Ethernet-Konnektivität und erreicht einen Lesedurchsatz von bis zu 340 GB/s und einen Schreibdurchsatz von bis zu 175 GB/s pro Knoten sowie bis zu 7 Millionen IOPS.
Die Plattform unterstützt auch NVIDIA GPUDirect Storage, Ermöglichung direkter Datenpfade zwischen Speicher und GPUs sowie BlueField-3 DPUs zur Auslagerung von Netzwerk- und Datenverarbeitung.
Die Samsung PM9D3a PCIe Gen5 NVMe SSDs bieten Speicher mit hohem Durchsatz und hoher Speicherdichte. Basierend auf TLC V-NAND der achten Generation liefern diese Laufwerke bis zu 30.72 TB pro Gerät mit sequenziellen Lesegeschwindigkeiten von bis zu 12 GB/s und Schreibgeschwindigkeiten von bis zu 6.8 GB/s. Durch die Verwendung handelsüblicher Enterprise-SSDs lässt sich die Architektur mit Standardkomponenten skalieren.
Hierarchische Indizierung und GPU-Beschleunigung
Um die Indexierung in großem Umfang zu bewältigen, entwickelte IBM ein hierarchisches Indexierungsmodell mit mehreren Subindizes, die unabhängig voneinander optimiert werden können. Diese Struktur ermöglicht inkrementelle Aktualisierungen und lokale Neuindizierungen, ohne den gesamten Datensatz zu beeinträchtigen, wodurch sowohl die Verfügbarkeit als auch die betriebliche Effizienz verbessert werden.
Die GPU-Beschleunigung reduziert die Indizierungszeit im Vergleich zu rein CPU-basierten Verfahren erheblich. Aufgaben, die auf CPUs Stunden dauern würden, lassen sich mit NVIDIA-GPUs in Minuten erledigen. Tests ergaben, dass die Indexierung von 100 Milliarden Vektoren mit sechs NVIDIA H200-GPUs vier Tage in Anspruch nahm, verglichen mit geschätzten 120 Tagen auf einem Dual-Socket-CPU-System.
Der vollständige Datensatz, einschließlich Vektoren und Indizes, belegte ca. 153 TiB Speicherplatz. Das anfängliche Laden und Partitionieren der Daten dauerte neun Tage. Das resultierende System erreichte eine durchschnittliche Abfragelatenz von 694 ms bei einer Trefferquote von 90 %, validiert durch Brute-Force-Rechnungen.
Roadmap
IBM und NVIDIA optimieren die Plattform kontinuierlich und konzentrieren sich dabei auf die Reduzierung der Indexierungs- und Abfragelatenz. Zu den aktuellen Zielen gehören die Indexierung von mindestens 100 Milliarden Vektoren innerhalb eines Tages, die Verkürzung der Datenaufnahmezeit von neun auf einen Tag und die Senkung der Abfragelatenz auf 50–100 Millisekunden bei gleichzeitiger Beibehaltung einer Trefferquote von 90 Prozent.
Die Integration von Vektorindizierung in Standarddateisysteme zielt darauf ab, die Bereitstellung zu vereinfachen und die Hürden für die Einführung von KI in Unternehmen zu senken. Durch die direkte Einbettung von RAG-Funktionen in den Speicher positioniert IBM CAS als grundlegende Schicht für KI-fähige Infrastrukturen.
Amazon