Quantum hat seine ActiveScale-Objektspeicherplattform aktualisiert und den Zugriff auf selten genutzte Daten in Archivierungsebenen der Glacier-Klasse deutlich verbessert. Das Update beinhaltet die exklusive Funktion „Range Restore“ für bandbasierte Datenspeicherung, die auf Quantums patentiertem, löschcodiertem Objekt-auf-Band-Design basiert.
Zusammen mit einer neuen Wiederherstellungs-Engine, die für die Leistung kleiner Objekte optimiert ist, verwandeln diese Änderungen Bandarchive von langsamen Offline-Speichern in reaktionsschnelle, API-zugängliche Data Lakes, die für KI, Analysen und Hochleistungsrechnen geeignet sind.
ActiveScale ermöglicht es Kunden nun, nur die benötigten Bytebereiche aus großen Objekten abzurufen, anstatt eine gesamte Datei wiederherzustellen. Diese selektive Wiederherstellung optimiert die Wirtschaftlichkeit und Benutzerfreundlichkeit der Archivierung. Teams, die an KI-Training, Datenvalidierung oder Compliance-Anfragen arbeiten, können auf die exakt benötigten Segmente zugreifen, ohne die Verzögerungen und Ressourcenkosten, die mit dem Abruf vollständiger Objekte verbunden sind. Die Reduzierung von Wartezeiten und Datenübertragungsauswirkungen beschleunigt Arbeitsabläufe und verbessert die Infrastruktureffizienz in Rechenclustern und Netzwerken. Quantum weist darauf hin, dass es sich hierbei um eine speziell für ActiveScale entwickelte S3 Glacier-Erweiterung für bandbasierte Archivierung handelt, die ein langjähriges Problem der Archivnutzung löst.
Die Unterstützung von Ranged Restore ist eine neue Wiederherstellungs-Engine, die den Durchsatz für Operationen mit kleinen Objekten dank intelligenter Stapelverarbeitung und optimierter Anforderungsreihenfolge um mehr als das Fünffache steigert. Viele KI- und Analyseaufgaben erfordern den Zugriff auf große Datenmengen kleiner Dateien, wie z. B. Label-Shards, Feature-Indizes oder Compliance-Metadaten-Scans. Bisher führten sogenannte „Cold Tiers“ zu Verzögerungen bei diesen Aufgaben. Dank der Leistungsverbesserungen von ActiveScale erfolgen Wiederherstellungen kleiner Objekte nun deutlich schneller. Dies ermöglicht kürzere Iterationszyklen, eine höhere Job-Parallelität und eine bessere Auslastung der GPU- und CPU-Ressourcen. Insgesamt fungiert ein „Cold Tier“ dadurch eher als „Warm Analytical Layer“ für gezielte Datenabfragen.
Die Führungsebene von Quantum präsentiert das Update als Möglichkeit, die Wertschöpfung aus Archiven zu optimieren. Hugues Meyrath, CEO von Quantum, betont, dass die entscheidende Frage nicht das Wachstum der Archive ist, sondern wie schnell Unternehmen auf die richtigen Daten für Training und Analysen zugreifen können. Er weist darauf hin, dass stunden- oder tagelange Wartezeiten auf Daten die Produktivität beeinträchtigen und die Kosten erhöhen können. Die neuen ActiveScale-Funktionen machen große, langfristige Archive im Exabyte-Bereich zugänglicher und KI-fähig.
Geoff Barrall, Chief Product Officer, ergänzt, dass „kalte“ Daten nicht länger als offline betrachtet werden sollten. Durch die Beseitigung der Einschränkungen herkömmlicher Glacier-Speicherlösungen verwandelt ActiveScale Bandspeicher in ein schnelles, standardbasiertes Asset, das programmatisch abgefragt und in Workflows mit hohem Datendurchsatz integriert werden kann.
Die Differenzierung beruht auf drei Hauptaspekten, darunter:
- Der selektive Abruf auf Bytebereichsebene verkürzt die Zeit bis zum ersten Byte bei großen Objekten und minimiert unnötige Datenbewegungen, was zu geringeren Kosten für Datenausgang, Rechenleistung und Energie führt.
- Die Verbesserung der Performance bei kleinen Objekten behebt ein wichtiges Problem in KI- und HPC-Pipelines, wo der Zugriff auf Millionen kleiner Dateien in der Vergangenheit mit der Latenz des Archivspeichers kollidierte.
- Das Design erhält die S3-Kompatibilität und erweitert gleichzeitig die Glacier-Semantik auf eine für Quantums Object-on-Tape-Ansatz einzigartige Weise. Dadurch können Kunden den Cold-Tier-Zugriff modernisieren, ohne ihre Anwendungen neu gestalten zu müssen.
Der Kern des Erasure-Coding-basierten Objekt-auf-Band-Designs von ActiveScale ist entscheidend. Erasure Coding schützt die Datenbeständigkeit über verschiedene Medien hinweg und ermöglicht gleichzeitig Parallelverarbeitung bei Wiederherstellungsvorgängen. Durch intelligentes Lese- und Anforderungsmanagement zur Optimierung des Bandlaufs reduziert ActiveScale den mechanischen Aufwand und macht sequentielle Medien zu einer nutzbaren Ebene für selektiven, hocheffizienten Datenabruf. Das Ergebnis ist eine „kalte“ Ebene, die in Echtzeit- oder nahezu Echtzeit-Pipelines eingebunden werden kann und Trainingsprozesse unterstützt, Feature-Stores füllt und gezielte eDiscovery- und Compliance-Anforderungen erfüllt – ohne die herkömmlichen Betriebskosten von Bandlaufwerken.
Diese Aktualisierungen zielen darauf ab, die Produktivität in den Bereichen Data Engineering und MLOps zu steigern. Schnellere, gezielte Wiederherstellungen ermöglichen es Teams, Datensätze zu validieren, Trainings mit aktualisierten Beispielen erneut durchzuführen oder Audits mit minimalen Unterbrechungen laufender Prozesse vorzunehmen. Workflows, die zuvor das Zwischenspeichern von Daten in einem Warm-Tier erforderten, können nun in vielen Szenarien Zwischenschritte umgehen, wodurch Pipelines optimiert und die Infrastruktur entlastet werden. Für Unternehmen, die Archive im Multi-Petabyte- bis Exabyte-Bereich verwalten, führt diese Konsolidierung zu niedrigeren Gesamtbetriebskosten bei gleichzeitig überschaubaren Kosten für die langfristige Datenaufbewahrung.
Aus Sicht von Governance und Risikomanagement erfüllt die Bereitstellung von Archiven für Abfragen die steigenden Erwartungen an Datenverfügbarkeit, Datenherkunft und Reproduzierbarkeit. Durch selektiven Zugriff und verbesserten Durchsatz können Unternehmen Daten kostengünstig in einer „kalten“ Speicherebene ablegen und gleichzeitig die für interne Fristen, regulatorische Vorgaben und KI-Testpläne erforderlichen Reaktionsfähigkeit gewährleisten. Dieser Ansatz reduziert zudem das Risiko von Datenabrufen, indem die Menge der abgerufenen Daten begrenzt wird. Dadurch wird die Gefährdung durch Datenabfluss verringert und die Zugriffskontrolle vereinfacht.
Quantum sieht in diesen Funktionen eine Stärkung der Position von ActiveScale als vielseitige, zukunftssichere Plattform für selten genutzte Daten. Durch die Umwandlung von Archivspeicher in eine schnelle, selektiv zugängliche Schicht ermöglicht ActiveScale Unternehmen, den Wert ihrer Daten unabhängig von Alter und Umfang zu erschließen. Die Glacier-kompatible API der Plattform bietet zusammen mit einzigartigen bandfähigen Erweiterungen eine praktische Möglichkeit, selten genutzte Daten in KI und Analysen zu integrieren, ohne dass ein Plattformwechsel erforderlich ist.
Diese Verbesserungen sind ab sofort verfügbar.
Amazon