Firma Seagate Technologies ogłosiła dziś dostępność nowego rozwiązania, które zapewnia narzędzia, usługi i wsparcie dla klientów korzystających z technologii High Performance Computing (HPC) – ClusterStor Hadoop Workflow Accelerator. Hadoop Workflow Accelerator wykorzysta i zwiększy wydajność ClusterStor, skalowalnego systemu pamięci masowej przeznaczonego do analizy dużych zbiorów danych. Seagate ogłosiło również nowe rozwiązanie ClusterStor Engineered Solution dla platformy Lustre. To rozwiązanie nowej generacji oferuje nawet 700-procentową poprawę wydajności metadanych.
Seagate ClusterStor Hadoop Workflow Accelerator będzie obsługiwać dystrybucje Hadoop oparte na platformie Open Source Apache Hadoop. Hadoop Workflow Accelerator znacznie skraca czas transferu danych w wymagających obliczeniowo środowiskach High Performance Data Analytics i będzie służył zarówno technicznym, jak i komercyjnym aspektom przetwarzania Big Data. Przetwarzanie danych Hadoop będzie włączane natychmiast po rozpoczęciu każdego zadania, skracając czas oczekiwania na wyniki i eliminując konieczność masowego kopiowania dużych ilości danych z oddzielnego repozytorium. Rozwiązanie obejmuje również łącznik Hadoop on Lustre. Łącznik Hadoop on Lustre umożliwia klastrom Hadoop i HPC Lustre korzystanie z dokładnie tych samych danych bez konieczności przenoszenia ich między systemami plików lub urządzeniami pamięci masowej.
Funkcje Seagate ClusterStor Hadoop Workflow Accelerator obejmują:
- Testy wykazują wyraźną poprawę w przypadku dystrybucji Apache Hadoop 1.0 w porównaniu ze standardowymi konfiguracjami pamięci masowej. Hadoop Workflow Accelerator przewyższył Hadoop na HDFS nawet o 38%.
- Obejmuje opracowane przez Seagate rozwiązanie Hadoop on Lustre Connector oraz szereg najlepszych praktyk optymalizacji wydajności ClusterStor, metod dostrajania systemu, narzędzi do zarządzania instalacją i konfiguracją oraz usług profesjonalnych.
- Rozszerzając kompatybilność, zaprojektowana przez Seagate rodzina złączy Hadoop na Lustre rozszerza obsługę kilku pakietów ekosystemu Hadoop, takich jak Mahout, Hive i Pig, aby wykorzystać zalety równoległej wydajności odczytu/zapisu systemu plików Lustre działającego w sieciach o dużej prędkości, takich jak 40 Gig-E i Infiniband.
- Zgodność z dystrybucjami Hadoop 1.0 i Hadoop 2.0 lub Yarn
- Nie wymaga zmian kodu ani ponownej kompilacji systemów Hadoop i Lustre.
- Zgodność z istniejącymi instalacjami Hadoop opartymi na HDFS. Nie ma potrzeby migracji danych do Seagate ClusterStor przed użyciem akceleratora, ponieważ użytkownicy mogą odczytywać i zapisywać dane zamiennie w ClusterStor i HDFS, podczas wykonywania zadań Hadoop.
Nowe rozwiązanie ClusterStor Engineered Solution dla Lustre jest jedynym w pełni zaprojektowanym rozwiązaniem integrującym wszystkie aspekty sprzętu, oprogramowania i pełne wsparcie Lustre dla najnowszej wersji równoległego systemu plików Lustre.
Zalety tego nowego rozwiązania są następujące:
- Poprawiona wydajność i skalowalność metadanych dzięki wdrożeniu funkcji Distributed Namespace (DNE) w równoległym systemie plików Lustre 2.5.
- Klienci ClusterStor mają teraz możliwość dodania do 16 serwerów metadanych Lustre DNE na jeden system plików, co przekłada się na poprawę wydajności metadanych klienta nawet o 700%
- Zwiększona skalowalność do 16 miliardów plików na system plików
- Postęp w zakresie skalowalności umożliwiający obsługę większych klastrów
- Ulepszone możliwości bezpieczeństwa, w tym zgodność z wymogami bezpieczeństwa rządowego
- Łatwość wdrażania w nadchodzących wersjach Lustre
Firma Seagate ogłosiła również dostępność rozwiązania ClusterStor Secure Data Appliance (SDA). ClusterStor SDA wykorzystuje protokół uwierzytelniania sieci Kerberos jako fundament, zapewniając strukturę systemu plików, umożliwiającą rozwiązaniom zarządzania kluczami szyfrującymi opartym na Kerberos szyfrowanie ruchu danych sieciowych między klientem obliczeniowym a systemem pamięci masowej. Seagate ClusterStor SDA to pierwsze w branży zgodne z normami i bezpieczne, skalowalne w poziomie, równoległe rozwiązanie systemu plików, zapewniające środki do wdrożenia wszystkich niezbędnych funkcji obowiązkowej kontroli dostępu (MAC), jawnego rejestrowania/śledzenia audytu, szyfrowania i wsparcia w celu egzekwowania kontroli dostępu z minimalnymi uprawnieniami.
Atrybuty SDA z włączoną obsługą Kerberos obejmują:
- ICD 503 Wielopoziomowe zabezpieczenia dla przechwytywania danych i analizy obrazów geoprzestrzennych
- Możliwość przechwytywania i analizowania dużych plików graficznych, co pozwala na szybszy dostęp do wyników i większą dokładność wspomagania decyzji.
- Struktura umożliwiająca dostosowane rozwiązania szyfrowania danych klienta na dysku i zarządzania kluczami
Dostępność:
Rozwiązanie Seagate ClusterStor Hadoop Workflow Accelerator ma być dostępne w styczniu 2015 r. jako zestaw odrębnych pakietów produktów.
Nowe rozwiązanie ClusterStor Engineered Solution firmy Seagate przeznaczone do urządzeń Lustre jest już dostępne.
Rozwiązanie Seagate ClusterStor SDA z technologią Kerberos ma być dostępne w przyszłym miesiącu.
Amazon