Firma Quantum zaktualizowała swoją platformę obiektowej pamięci masowej ActiveScale, znacząco poprawiając dostęp do danych przechowywanych na zimno w warstwach archiwów klasy Glacier. Aktualizacja wprowadza unikalną funkcję Ranged Restore dla pamięci masowej na taśmach, wykorzystującą opatentowaną przez Quantum technologię obiektów na taśmie z kodowaniem kasującym.
Zmiany te, wraz z nowym mechanizmem przywracania danych zoptymalizowanym pod kątem wydajności małych obiektów, przekształcają archiwa taśmowe z powolnych, działających w trybie offline pamięci masowych w responsywne jeziora danych z dostępem za pośrednictwem interfejsu API, gotowe na sztuczną inteligencję, analitykę i obliczenia o wysokiej wydajności.
ActiveScale pozwala teraz klientom pobierać tylko potrzebne zakresy bajtów z dużych obiektów, zamiast rehydratować cały plik. To selektywne przywracanie zmienia ekonomikę i komfort korzystania z magazynu pamięci masowej. Zespoły pracujące nad szkoleniem sztucznej inteligencji, walidacją danych lub zapytaniami zgodności mogą uzyskać dostęp do konkretnych segmentów potrzebnych do wykonania zadań, bez opóźnień i kosztów zasobów związanych z pobieraniem całych obiektów. To skrócenie czasu oczekiwania i wpływu na ruch wychodzący przyspiesza przepływy pracy i poprawia wydajność infrastruktury w klastrach obliczeniowych i sieciach. Quantum zaznacza, że jest to niestandardowe rozszerzenie S3 Glacier, unikalne dla ActiveScale, przeznaczone do magazynu pamięci masowej pamięci masowej na taśmach, rozwiązujące długotrwały problem z użytecznością archiwów.
Obsługa Ranged Restore to nowy mechanizm przywracania, który zwiększa przepustowość operacji na małych obiektach ponad pięciokrotnie dzięki inteligentnemu przetwarzaniu wsadowemu i porządkowaniu żądań. Wiele zadań z zakresu sztucznej inteligencji i analityki wymaga dostępu do dużych ilości małych plików, takich jak fragmenty etykiet, indeksy cech czy skanowanie metadanych zgodności. Tradycyjnie warstwy „zimne” powodowały opóźnienia w tych zadaniach. Dzięki poprawom wydajności ActiveScale przywracanie małych obiektów przebiega szybciej, co umożliwia krótsze cykle iteracji, większą współbieżność zadań i lepsze wykorzystanie zasobów GPU i CPU. W rezultacie warstwa „zimna” działa bardziej jak „ciepła” warstwa analityczna do ukierunkowanych odzyskiwań.
Kierownictwo Quantum przedstawia aktualizację jako sposób na usprawnienie wydobywania wartości z archiwów. Hugues Meyrath, CEO Quantum, podkreśla, że kluczową kwestią nie jest to, czy archiwa będą się rozrastać, ale jak szybko organizacje będą w stanie uzyskać dostęp do odpowiednich danych do celów szkoleniowych i analitycznych. Zwraca uwagę, że oczekiwanie na dane przez godziny, a nawet dni, może negatywnie wpłynąć na produktywność i zwiększyć koszty. Nowe funkcje ActiveScale sprawiają, że duże, długoterminowe archiwa są bardziej dostępne i gotowe na sztuczną inteligencję na poziomie eksabajtów.
Geoff Barrall, dyrektor ds. produktów, dodaje, że dane „zimne” nie powinny być już postrzegane jako dane offline. Eliminując ograniczenia tradycyjnej pamięci masowej klasy Glacier, ActiveScale przekształca pamięć taśmową w szybki, zgodny ze standardami zasób, który można programowo przeszukiwać i integrować z przepływami pracy o wysokiej przepustowości.
Różnicowanie to opiera się na trzech głównych aspektach, w tym:
- Selektywne pobieranie na poziomie zakresu bajtów skraca czas do pierwszego bajtu w przypadku dużych obiektów i minimalizuje zbędne przesyłanie danych, co przekłada się na niższe koszty wyjściowe, obliczeniowe i zużycie energii.
- Poprawa wydajności przetwarzania małych obiektów rozwiązuje istotny problem w systemach sztucznej inteligencji (AI) i obliczeniach o wysokiej wydajności (HPC), w których dostęp do milionów małych plików tradycyjnie kolidował z opóźnieniami pamięci masowej na poziomie archiwum.
- Projekt zachowuje zgodność z S3, jednocześnie rozszerzając semantykę Glacier w sposób unikalny dla podejścia Quantum opartego na obiektach na taśmie, umożliwiając klientom modernizację dostępu w warstwie zimnej bez konieczności przeprojektowywania aplikacji.
Kluczowy jest rdzeń konstrukcji obiektu na taśmie z kodowaniem kasowania (Erasure Code) w ActiveScale. Kodowanie kasowania chroni trwałość danych na nośnikach, umożliwiając jednocześnie równoległość podczas operacji przywracania. Dzięki inteligentnemu zarządzaniu odczytami i porządkowaniu żądań w celu optymalizacji ruchu taśmy, ActiveScale redukuje obciążenie mechaniczne i przekształca sekwencyjne nośniki w użyteczną warstwę do selektywnego pobierania danych z wysoką przepustowością. Rezultatem jest warstwa zimna (tzw. cold layer), która może uczestniczyć w procesach w czasie rzeczywistym lub zbliżonym do rzeczywistego, obsługując zadania szkoleniowe, wypełniając magazyny funkcji i realizując ukierunkowane żądania eDiscovery i zgodności bez tradycyjnych kosztów operacyjnych związanych z taśmami.
Te aktualizacje mają na celu zwiększenie produktywności w inżynierii danych i MLOps. Szybsze, ukierunkowane przywracanie danych pozwala zespołom na walidację zestawów danych, ponowne uruchamianie szkoleń z wykorzystaniem zaktualizowanych próbek lub przeprowadzanie audytów przy minimalnym zakłócaniu bieżących zadań. Przepływy pracy, które wcześniej wymagały przechowywania danych w warstwie „ciepłej”, mogą teraz w wielu scenariuszach pomijać kroki pośrednie, usprawniając potoki i redukując bałagan w infrastrukturze. W organizacjach zarządzających archiwami o rozmiarach od wielu petabajtów do eksabajtów, taka konsolidacja przekłada się na niższy całkowity koszt posiadania (CCO) przy jednoczesnym utrzymaniu kosztów długoterminowego przechowywania danych na rozsądnym poziomie.
Z perspektywy zarządzania i ryzyka, przygotowanie archiwów do obsługi zapytań spełnia rosnące oczekiwania dotyczące dostępności, pochodzenia i odtwarzalności danych. Dzięki selektywnemu dostępowi i zwiększonej przepustowości firmy mogą przechowywać dane w ekonomicznej warstwie „zimnej”, jednocześnie spełniając wymagania dotyczące szybkości reakcji wynikające z wewnętrznych terminów, wymogów regulacyjnych i harmonogramów testów sztucznej inteligencji. Takie podejście zmniejsza również ryzyko pobierania danych poprzez ograniczenie ilości uzyskiwanych dostępów, a tym samym zmniejsza ryzyko wycieku danych i upraszcza kontrolę dostępu.
Quantum postrzega te możliwości jako wzmocnienie pozycji ActiveScale jako wszechstronnej i przyszłościowej platformy do przetwarzania zimnych danych. Przekształcając pamięć masową na poziomie archiwum w szybką, selektywnie dostępną warstwę, ActiveScale umożliwia firmom wykorzystanie potencjału ich danych, niezależnie od wieku i objętości. Interfejs API platformy zgodny z Glacier, wraz z unikalnymi rozszerzeniami obsługującymi taśmy, zapewnia praktyczny sposób integracji pamięci masowej z systemem sztucznej inteligencji i analityki bez konieczności przełączania się na inne platformy.
Te ulepszenia są dostępne już teraz.
Amazon