Firma CTERA wprowadziła Fusion Direct, federacyjną architekturę danych, która ma na celu zniwelowanie długotrwałej luki między korporacyjnymi systemami plików a obiektową pamięcią masową. Nowa oferta rozszerza rodzinę CTERA Fusion, która obejmuje już CTERA Fusion Gateway, i jest pozycjonowana jako kluczowy komponent platformy CTERA Intelligent Data Platform. Celem jest stworzenie pojedynczej, wysokowydajnej struktury danych, która może obsługiwać zarówno obciążenia plikowe zorientowane na człowieka, jak i strumienie AI sterowane maszynowo, bez duplikowania danych i refaktoryzacji aplikacji.
Ujednolicenie plików i obiektów w jednej przestrzeni nazw
Zespoły IT przedsiębiorstw tradycyjnie były zmuszone do obsługi dwóch oddzielnych domen pamięci masowej. Systemy NAS zapewniają dostęp SMB i NFS do współpracy użytkowników oraz starszych aplikacji biznesowych. Pamięć masowa obiektów, zazwyczaj dostępna za pośrednictwem S3, jest wykorzystywana do obsługi obciążeń na dużą skalę, natywnych dla chmury i zadań analitycznych. Połączenie tych środowisk często oznaczało tworzenie równoległych infrastruktur, kopiowanie danych między nimi lub poleganie na bramkach, które tłumaczą wywołania plików na interfejsy API obiektów. Te warstwy translacji mogą wprowadzać dodatkowe opóźnienia, złożoność i ryzyko operacyjne, szczególnie w dużej skali.
Fusion Direct rozwiązuje ten problem, udostępniając pojedynczą, federacyjną globalną przestrzeń nazw, w której pliki i obiekty współistnieją natywnie. Dane mogą być zapisywane na platformie jako pliki i odczytywane jako obiekty lub zapisywane jako obiekty i odczytywane jako pliki. System obsługuje w pełni dwukierunkowy odczyt i zapis bez konieczności konwertowania plików na zastrzeżone fragmenty obiektów lub kierowania dostępu przez oddzielną bramkę translacyjną. CTERA wyraźnie wskazuje, że nie występuje wąskie gardło w konwersji plików na obiekty ani żaden zastrzeżony schemat enkapsulacji.
Z perspektywy dostępu, istniejące aplikacje korporacyjne i użytkownicy nadal korzystają z protokołów SMB i NFS, tak jak obecnie. Jednocześnie klastry szkoleniowe AI, środowiska HPC i usługi natywne dla chmury mogą uzyskiwać dostęp do tych samych zestawów danych za pośrednictwem protokołu S3 oraz protokołu S3 przez protokół RDMA, który został zaprojektowany w celu zapewnienia przepustowości z prędkością łącza dla klastrów GPU i innych środowisk obliczeniowych o wysokiej wydajności.
Wykorzystanie istniejących magazynów obiektów i rozproszonego brzegu
Istotnym elementem projektu jest możliwość dołączenia istniejących kontenerów S3 bezpośrednio do struktury danych Fusion Direct. Zamiast migrować lub rehydratować dane obiektów do nowego systemu, organizacje mogą przedstawić swoje obecne przestrzenie nazw pamięci masowej obiektów jako część globalnej przestrzeni plików/obiektów. Po dołączeniu, obiekty w tych kontenerach będą dostępne jako standardowe pliki w lokalizacjach brzegowych i wdrożeniach wielochmurowych.
Takie podejście pozwala zespołom IT udostępniać dane obiektowe w postaci plików użytkownikom i aplikacjom na całym świecie, jednocześnie prezentując je natywnie jako S3 dla obciążeń AI i analityki. Zmniejsza to również potrzebę duplikowania infrastruktury, która w przeciwnym razie byłaby wdrażana w wielu regionach lub lokalizacjach brzegowych w celu gromadzenia lub formatowania danych. Efektem końcowym jest prostsza przestrzeń dyskowa dla rozproszonych zestawów danych obejmujących wiele lokalizacji geograficznych.
Architektura dla wydajności ery AI
Rozwiązanie CTERA Fusion Direct wykorzystuje istniejący pakiet Intelligent Data Platform firmy CTERA i jest chronione patentem USA nr 12 007 9521. Architektura ta kładzie nacisk na jednoczesną obsługę obciążeń plików współdzielonych oraz wysoką przepustowość i wykorzystanie danych na skalę maszynową.
Jedną z podstawowych funkcji jest natywny dostęp bez kopii. Dane zapisywane na platformie CTERA w postaci plików są natychmiast dostępne jako standardowe obiekty S3, bez konieczności tworzenia kopii wtórnych ani konwersji w tle. Z drugiej strony, kontenery S3 można łączyć w miejscu, a ich zawartość staje się natychmiast adresowalna jako pliki w globalnej przestrzeni nazw. Ma to na celu uniknięcie zarówno opóźnień, jak i obciążenia pamięci masowej związanego z duplikatami kopii lub pośrednimi pamięciami podręcznymi.
Kolejnym obszarem zainteresowania jest szybkie strumieniowanie plików. Duże zasoby multimedialne, zestawy danych szkoleniowych i inne treści o dużej pojemności można przesyłać strumieniowo bezpośrednio z pamięci obiektowej do aplikacji opartych na plikach. Takie podejście eliminuje potrzebę masowego pobierania danych lokalnie lub wykonywania czynności przygotowawczych, które mogą spowalniać przepływy pracy i zużywać dodatkową przestrzeń dyskową na brzegu sieci lub w klastrach obliczeniowych.
Pod względem wydajności Fusion Direct udostępnia obiekty natywne w sposób, który obsługuje wzorce S3-over-RDMA i bezpośredniego dostępu GPU. W przypadku klastrów AI oznacza to, że GPU mogą odczytywać i zapisywać dane z prędkością zbliżoną do prędkości łącza (wire speed) z zestawów danych opartych na obiektach, bez dodatkowej translacji protokołów na ścieżce danych. Jest to szczególnie istotne w przypadku zadań uczenia i wnioskowania ograniczonych przepustowością wejścia/wyjścia, a nie surowymi obliczeniami.
CTERA zwraca również uwagę na kwestie suwerenności danych. Ponieważ dane znajdują się w standardowych kontenerach S3 bez zastrzeżonego opakowania ani bram, które byłyby właścicielami metadanych, organizacje zachowują kontrolę nad swoimi informacjami w środowiskach lokalnych i chmurach publicznych. Architektura ma na celu zminimalizowanie blokady na poziomie danych i zachowanie elastyczności w miarę rozwoju strategii infrastrukturalnych.
Rozbijanie silosów danych ludzkich i maszynowych
Oded Nagel, prezes CTERA, twierdzi, że główną barierą dla wdrażania sztucznej inteligencji w przedsiębiorstwach nie jest niedobór danych, ale wyzwanie związane z ich efektywnym wykorzystaniem. Podkreśla, że oddzielenie danych do użytku przez ludzi od danych do analizy maszynowej stwarza problemy. Utrzymywanie oddzielnych środowisk i zestawów danych spowalnia wdrażanie sztucznej inteligencji. Nagel proponuje połączenie ich w jedną platformę obsługującą SMB/NFS i S3 przez RDMA, dając przedsiębiorstwom bezpośrednią ścieżkę od danych surowych do zestawów danych gotowych do wdrożenia sztucznej inteligencji. Ujednolicona platforma może pomóc organizacjom lepiej wykorzystać dane i utrzymać konkurencyjność na rynku napędzanym uczeniem maszynowym i automatyzacją.
Dostępność:
Rozwiązanie CTERA Fusion Direct jest już dostępne jako część platformy CTERA Intelligent Data Platform i stanowi kluczowy komponent szerszej rodziny rozwiązań CTERA Fusion do ujednolicania plików i obiektów. Aby uzyskać więcej informacji, odwiedź stronę CTERA.
Amazon