Aujourd'hui, Seagate Technologies a annoncé la disponibilité d'une nouvelle solution qui fournit les outils, les services et l'assistance aux clients du calcul haute performance (HPC), le ClusterStor Hadoop Workflow Accelerator. Hadoop Workflow Accelerator exploitera et améliorera les performances de ClusterStor, un système de stockage évolutif conçu pour Big Data Analytics. Seagate a également annoncé sa nouvelle solution technique ClusterStor pour Lustre. Cette solution de nouvelle génération offre jusqu'à 700 % d'amélioration des performances des métadonnées.
L'accélérateur de flux de travail Seagate ClusterStor Hadoop prendra en charge les distributions Hadoop basées sur Open Source Apache Hadoop. L'accélérateur de flux de travail Hadoop réduit considérablement les temps de transfert de données dans les environnements d'analyse de données haute performance à forte intensité de calcul et servira à la fois l'informatique technique et l'aspect commercial du Big Data Computing. Le traitement des données Hadoop sera immédiatement activé au début de chaque tâche, ce qui réduira le délai d'obtention des résultats et éliminera la copie en masse de grandes quantités de données à partir d'un référentiel de données distinct. La solution inclut également le connecteur Hadoop on Lustre. Le connecteur Hadoop on Lustre permet aux clusters Hadoop et HPC Lustre d'utiliser exactement les mêmes données sans avoir à déplacer les données entre les systèmes de fichiers ou les périphériques de stockage.
Les fonctionnalités de Seagate ClusterStor Hadoop Workflow Accelerator incluent :
- Les tests montrent des améliorations marquées pour les distributions Apache Hadoop 1.0 par rapport aux configurations de stockage standard, Hadoop Workflow Accelerator a surpassé Hadoop sur HDFS jusqu'à 38 %.
- Inclut le connecteur Hadoop on Lustre développé par Seagate et un ensemble de bonnes pratiques d'optimisation des performances ClusterStor, de méthodes de réglage du système, d'outils de gestion de l'installation et de la configuration et de services professionnels.
- Élargissant la compatibilité, la gamme conçue par Seagate de connecteurs Hadoop sur Lustre étend la prise en charge de plusieurs packages d'écosystème Hadoop tels que Mahout, Hive et Pig pour tirer parti des performances de lecture/écriture parallèles du système de fichiers Lustre fonctionnant avec des réseaux à haut débit tels que comme 40 Gig-E et Infiniband.
- Compatible avec les distributions Hadoop 1.0 et Hadoop 2.0 ou Yarn
- Ne nécessite aucune modification de code ni recompilation des systèmes Hadoop ou Lustre.
- Compatible avec les installations Hadoop existantes basées sur HDFS. Il n'est pas nécessaire de migrer les données vers Seagate ClusterStor avant d'utiliser l'accélérateur, car les utilisateurs peuvent lire ou écrire sur ClusterStor et HDFS de manière interchangeable, tout en exécutant des tâches Hadoop.
La nouvelle solution technique ClusterStor pour Lustre est la seule solution entièrement technique intégrant tous les aspects du matériel, des logiciels et une prise en charge complète de Lustre pour la dernière version du système de fichiers parallèle Lustre.
Les avantages de cette nouvelle solution sont :
- Amélioration des performances et de l'évolutivité des métadonnées grâce à la mise en œuvre des fonctionnalités d'espace de noms distribué (DNE) dans le système de fichiers parallèle Lustre 2.5.
- Les clients de ClusterStor ont désormais la possibilité d'ajouter jusqu'à 16 serveurs de métadonnées Lustre DNE par système de fichiers unique, ce qui entraîne une amélioration des performances des métadonnées client jusqu'à 700 %
- Évolutivité étendue jusqu'à 16 milliards de fichiers par système de fichiers
- Avancées en matière d'évolutivité prenant en charge des clusters plus grands
- Capacités de sécurité améliorées, y compris la conformité à la sécurité gouvernementale
- Facilité de déploiement pour les prochaines versions de Lustre
Seagate a également annoncé la disponibilité de ClusterStor Secure Data Appliance (SDA). ClusterStor SDA inclut le protocole d'authentification réseau Kerberos comme base fournissant la structure du système de fichiers pour permettre aux solutions de gestion des clés de chiffrement basées sur Kerberos de chiffrer le trafic de données réseau entre le client de calcul et le système de stockage. Seagate ClusterStor SDA est la première solution de système de fichiers parallèle évolutive conforme et sécurisée du secteur, offrant les moyens de mettre en œuvre tous les contrôles d'accès obligatoires (MAC) nécessaires, la journalisation/suivi d'audit explicite, le chiffrement et les capacités de prise en charge pour appliquer l'accès « moindre privilège ». contrôle.
Les attributs de SDA avec activation Kerberos incluent :
- ICD 503 Sécurité à plusieurs niveaux pour la capture et l'analyse de données d'imagerie géospatiale
- Capacité de performance pour capturer et analyser des fichiers d'image volumineux, offrant des résultats plus rapides avec une précision accrue de l'aide à la décision.
- Cadre permettant d'activer des solutions personnalisées de chiffrement client sur disque et de gestion des clés
Disponibilité
Seagate ClusterStor Hadoop Workflow Accelerator devrait être disponible en janvier 2015 sous la forme d'un ensemble de produits distincts.
La nouvelle solution technique ClusterStor de Seagate pour Lustre est disponible dès maintenant.
Seagate ClusterStor SDA avec Kerberos devrait être disponible le mois prochain.
Amazon