Společnost Seagate Technologies dnes oznámila dostupnost nového řešení, které poskytuje nástroje, služby a podporu pro zákazníky s vysoce výkonnými výpočty (HPC), a to ClusterStor Hadoop Workflow Accelerator. Hadoop Workflow Accelerator využije a zvýší výkon systému ClusterStor, škálovatelného úložného systému určeného pro analýzu velkých dat. Společnost Seagate také oznámila své nové řešení ClusterStor Engineered Solution pro Lustre. Toto řešení nové generace nabízí až 700% zlepšení výkonu metadat.
Řešení Seagate ClusterStor Hadoop Workflow Accelerator bude podporovat distribuce Hadoop založené na open source Apache Hadoop. Hadoop Workflow Accelerator výrazně zkracuje dobu přenosu dat ve výpočetně náročných prostředích pro vysoce výkonnou analýzu dat a bude sloužit jak pro technické výpočty, tak pro komerční stránku Big Data Computing. Zpracování dat Hadoop bude okamžitě povoleno na začátku každé úlohy, čímž se zkrátí doba do dosažení výsledků a eliminuje hromadné kopírování velkého množství dat ze samostatného datového úložiště. Řešení zahrnuje také Hadoop on Lustre Connector. Hadoop on Lustre Connector umožňuje clusterům Hadoop i HPC Lustre používat přesně stejná data, aniž by bylo nutné přesouvat data mezi souborovými systémy nebo úložnými zařízeními.
Mezi funkce akcelerátoru pracovních postupů Seagate ClusterStor Hadoop patří:
- Testy ukazují výrazné zlepšení distribucí Apache Hadoop 1.0 oproti standardním konfiguracím úložišť, Hadoop Workflow Accelerator překonal Hadoop na HDFS až o 38 %.
- Zahrnuje konektor Hadoop on Lustre vyvinutý společností Seagate a řadu osvědčených postupů pro optimalizaci výkonu ClusterStor, metody ladění systému, nástroje pro správu instalace a konfigurace a profesionální služby.
- Společnost Seagate navrhla řadu konektorů Hadoop on Lustre, která rozšiřuje kompatibilitu, a rozšiřuje tak podporu pro několik ekosystémových balíčků Hadoop, jako jsou Mahout, Hive a Pig, aby se využil paralelní výkon čtení/zápisu souborového systému Lustre, který pracuje s vysokorychlostními sítěmi, jako jsou 40 Gig-E a Infiniband.
- Kompatibilní s distribucemi Hadoop 1.0 i Hadoop 2.0 nebo Yarn
- Nevyžaduje žádné změny kódu ani rekompilaci systémů Hadoop nebo Lustre.
- Kompatibilní se stávajícími instalacemi Hadoopu založenými na HDFS. Před použitím akcelerátoru není nutné migrovat data do Seagate ClusterStor, protože uživatelé mohou číst nebo zapisovat do ClusterStoru a HDFS zaměnitelně a zároveň spouštět úlohy Hadoopu.
Nové ClusterStor Engineered Solution pro Lustre je jediné plně navržené řešení, které integruje všechny aspekty hardwaru, softwaru a plné podpory Lustre pro nejnovější verzi paralelního souborového systému Lustre.
Výhody tohoto nového řešení jsou:
- Vylepšený výkon a škálovatelnost metadat díky implementaci funkcí distribuovaného jmenného prostoru (DNE) v paralelním souborovém systému Lustre 2.5.
- Zákazníci ClusterStor mají nyní možnost přidat až 16 serverů metadat Lustre DNE na jeden souborový systém, což vede ke zlepšení výkonu klientských metadat až o 700 %.
- Rozšířená škálovatelnost až na 16 miliard souborů na souborový systém
- Pokroky v škálovatelnosti podporující větší clustery
- Vylepšené bezpečnostní funkce včetně dodržování předpisů pro vládní bezpečnost
- Snadné nasazení pro nadcházející verze Lustre
Společnost Seagate také oznámila dostupnost ClusterStor Secure Data Appliance (SDA). ClusterStor SDA zahrnuje protokol síťového ověřování Kerberos jako základ poskytující rámec souborového systému, který umožňuje řešením správy šifrovacích klíčů založeným na Kerberos šifrovat síťový datový provoz mezi výpočetním klientem a úložným systémem. Seagate ClusterStor SDA je první kompatibilní a bezpečné škálovatelné paralelní souborové řešení v oboru, které poskytuje prostředky k implementaci veškerého nezbytného povinného řízení přístupu (MAC), explicitního protokolování/sledování auditu, šifrování a podpůrné funkce pro vynucení řízení přístupu s „nejmenšími oprávněními“.
Mezi atributy SDA s povolením protokolu Kerberos patří:
- ICD 503 Víceúrovňové zabezpečení pro geoprostorové snímky, sběr a analýzu dat
- Výkonná schopnost zachytit a analyzovat velké obrazové soubory, což poskytuje rychlejší dosažení výsledků a zvýšenou přesnost podpory rozhodování.
- Rámec pro umožnění přizpůsobených řešení pro šifrování a správu klíčů od klienta k disku
dostupnost
Očekává se, že Seagate ClusterStor Hadoop Workflow Accelerator bude k dispozici v lednu 2015 jako sada samostatných produktových balíčků.
Nové inženýrské řešení Seagate ClusterStor pro Lustre je nyní k dispozici.
Seagate ClusterStor SDA s Kerberos by měl být k dispozici příští měsíc.
Amazon