Firma Pure Storage wprowadziła FlashBlade//EXA, reklamowaną jako najwydajniejsza w branży platforma pamięci masowej, zaprojektowana do obsługi najbardziej wymagających obciążeń AI i obliczeń o wysokiej wydajności (HPC). Ta nowa oferta, oparta na sprawdzonej architekturze FlashBlade, eliminuje wąskie gardła w metadanych, które historycznie ograniczały potencjał AI. Zaprojektowana z myślą o wysokiej współbieżności i sprawna w obsłudze rozległego zapotrzebowania na metadane, typowego dla dużych systemów AI i HPC, platforma FlashBlade//EXA ma zapewnić wydajność odczytu na poziomie ponad 10 terabajtów na sekundę w ramach jednej przestrzeni nazw – ustanawiając nowy standard wydajności.
Podstawowa architektura FlashBlade//EXA umożliwia niezależne skalowanie danych i metadanych. Organizacje mogą osiągnąć niemal nieograniczoną ekspansję i wielowymiarową wydajność, wykorzystując łatwo dostępne węzły danych innych firm. Ponadto, oparcie na standardowych protokołach i standardach sieciowych upraszcza procesy wdrażania, zarządzania i skalowania, dzięki czemu rozwiązanie doskonale sprawdza się w różnych środowiskach korporacyjnych.
Wdrażanie zmiany paradygmatu w zakresie magazynowania
Wraz ze wzrostem wydajności procesorów graficznych (GPU), przyspieszających szkolenie dużych modeli AI, systemy pamięci masowej muszą dostosowywać się do rosnących wymagań dotyczących intensywności obliczeniowej, wolumenu i różnorodności danych. Tradycyjne rozwiązania pamięci masowej, zaprojektowane początkowo z myślą o przewidywalnych obciążeniach HPC, często zawodzą w kluczowych obszarach dla nowoczesnej AI, takich jak równoczesny odczyt i zapis, wydajność metadanych, niskie opóźnienia i asynchroniczne tworzenie punktów kontrolnych.
Rob Lee, dyrektor ds. technologii w Pure Storage, podkreślił znaczenie rozwiązania, które niezależnie skaluje dane i metadane. Podkreślił, że masowo równoległa architektura FlashBlade//EXA zapewnia niezrównaną wydajność, skalowalność i adaptacyjność, zauważając, że pamięci masowe nowej generacji mogą teraz aktywnie napędzać ewolucję rozwiązań HPC i sztucznej inteligencji na dużą skalę.
Prawdziwie nowoczesne rozwiązanie pamięci masowej powinno oferować rozproszoną, równoległą konstrukcję, aby skutecznie przyspieszyć rozwój sztucznej inteligencji na dużą skalę. Organizacje mogą bez wysiłku dodawać zasoby, aby nadążać za szybką i ciągłą transformacją sztucznej inteligencji, odchodząc od podejścia „uniwersalnego”.
Czym są metadane i dlaczego są ważne?
Metadane odnoszą się do informacji o przechowywanych danych, które pomagają w ich identyfikacji, kategoryzacji, dostępności i wyszukiwaniu. W zarządzaniu danymi i macierzach pamięci masowej metadane obejmują krytyczne szczegóły, takie jak nazwy plików, rozmiary, daty utworzenia, uprawnienia i lokalizacje w systemie pamięci masowej. Wraz ze skalowaniem systemów pamięci masowej i powiększaniem się zbiorów danych, znacząco wzrasta również ilość metadanych. Bez efektywnego zarządzania metadanymi ten wzrost może prowadzić do wąskich gardeł wydajności, wolniejszego pobierania danych i zwiększonych opóźnień. Jest to szczególnie problematyczne w przypadku obciążeń AI i HPC, które wymagają szybkiego, współbieżnego dostępu do ogromnych zbiorów danych. Efektywne zarządzanie metadanymi ma zatem kluczowe znaczenie dla utrzymania wysokiej wydajności, niezawodności i efektywności w środowiskach pamięci masowej o dużej skali.
Nowoczesna architektura dla obciążeń AI i HPC
Starsze, wysokowydajne technologie pamięci masowej zostały opracowane z myślą o obsłudze przewidywalnych obciążeń HPC, koncentrując się na skalowaniu surowej wydajności. Natomiast dzisiejsze zadania AI wymagają równoległego przetwarzania różnych typów danych – tekstu, obrazów i wideo – na dziesiątkach tysięcy procesorów graficznych. Ta zmiana wymusza konieczność stosowania architektur, które optymalizują metadane, zapewniając jednocześnie wysoką wydajność, aby sprawnie zarządzać znaczną współbieżnością.
FlashBlade//EXA spełnia te wymagania dzięki rozproszonej, wysoce równoległej konstrukcji, która koncentruje się na wydajności i skalowaniu metadanych. Takie podejście pomaga przedsiębiorstwom dostosować się do rosnących multimodalnych modeli AI, zwiększyć niezawodność i skrócić czasy przestoju. Aby jeszcze bardziej zoptymalizować obciążenia AI i HPC, FlashBlade//EXA integruje szybkie karty sieciowe NVIDIA ConnectX, przełączniki Spectrum, kable LinkX oraz biblioteki akcelerowanej komunikacji, zapewniając płynny przepływ danych i niskie opóźnienia w przypadku szkoleń i wnioskowania na dużą skalę. W rezultacie organizacje mogą przyspieszyć szkolenia i wnioskowanie, zmaksymalizować wykorzystanie GPU i skrócić całkowity czas uzyskiwania wniosków. Dodatkowo, łącząc silnik metadanych Pure Storage i system operacyjny Purity z ekonomicznymi, powszechnie dostępnymi węzłami danych, przedsiębiorstwa mogą osiągnąć wyjątkowy stosunek ceny do wydajności, który spełnia wymagania dużych projektów AI.
Kluczowe możliwości FlashBlade//EXA
Wiodąca w branży wydajność na dużą skalę
FlashBlade//EXA wykorzystuje bogate doświadczenie Pure Storage w optymalizacji metadanych, aby zmaksymalizować wydajność potoku w zakresie szkolenia i wnioskowania AI. Według wstępnych testów, FlashBlade//EXA może zapewnić wydajność odczytu na poziomie ponad 10 terabajtów na sekundę w pojedynczej przestrzeni nazw, wyznaczając nowy próg wydajności w branży. Możliwości te są napędzane przez masowo równoległe przetwarzanie i skalowalną wydajność IOPS metadanych, umożliwiając organizacjom bezproblemowe spełnianie wymagań dotyczących szybkiej sztucznej inteligencji.
Zmniejszona złożoność zarządzania
Eliminując wąskie gardła związane z metadanymi, FlashBlade//EXA rozwiązuje jedno z największych wyzwań w obciążeniach AI: wydajną obsługę ogromnych zbiorów danych. Wysoka wydajność, dostępność i odporność metadanych pozwalają na wdrażanie AI bez ręcznego dostrajania i specjalistycznej konfiguracji. W rezultacie przedsiębiorstwa korzystają z mniejszej liczby przeszkód operacyjnych podczas zarządzania dużymi lub szybko ewoluującymi zbiorami danych.
Przyspieszona innowacja AI
Rozproszona architektura FlashBlade//EXA jest wysoce konfigurowalna i integruje się ze standardowymi protokołami branżowymi, w tym z bibliotekami akcelerowanej komunikacji firmy NVIDIA, umożliwiając szkolenie i wnioskowanie AI o dużej przepustowości. Ta głęboka integracja gwarantuje przedsiębiorstwom maksymalizację wykorzystania GPU przy jednoczesnym zachowaniu elastyczności i efektywnego skalowania obciążeń AI. Taka konstrukcja sprzyja płynnej ewolucji w środowisku AI i HPC, zapewniając organizacjom możliwość szybkiej adaptacji do nowych typów danych, innowacyjnych aplikacji i nowych modeli bez uszczerbku dla wydajności i niezawodności.
Dostępność:
Premiera FlashBlade//EXA planowana jest na lato 2025 roku.
Amazon