Scality se décline sur Hadoop

Scality (www.scality.com), leader du Software Defined Storage pour les environnements massivement capacitif, vient d'annoncer sa solution Hadoop. La demande vient des utilisateurs du RING qui souhaitaient exploiter les données stockées et accumulées dans le RING sans manipuler et déplacer les données. 2 autres usages existent: le projet dédié Hadoop sur le RING Scality ou la coexistence RING/Hadoop pour tout type de données et de jobs MapReduce utilisés dans un mode RING seul ou RING + Hadoop.
Scality adresse plusieurs problèmes liés à l'utilisation de HDFS. Ce système de fichiers distribués en mode asymétrique avec un seul serveur de metadata, le fameux NameNode, est remplacé par Scality Scale Out File System (SOFS) pour:
- éliminer le goulot d'étranglement représenté par la seule instance du NameNode et considérer la distribution symétrique de ce rôle avec SOFS,
- supprimer l'impossibilité d'évolution du cluster de part la limite de la capacité mémoire du metadata server et
- bien sûr empêcher tout arrêt du cluster en cas de défaillance de ce noeud critique.
Côté protection de données, Scality continue à offrir la réplication de données et ARC, la mouture Scality de la technologie Erasure Code à base de codes Reed-Solomon. Le second mode de protection permet d'obtenir un excellent taux d'efficacité de stockage avec 77% pour 4 défaillances supportées, que ce soit un disque ou un serveur par exemple.

L'autre élément essentiel de cette approche est la conservation de l'esprit Hadoop avec UN seul cluster pour le Compute et le Stockage contrairement à DDN hScaler, NetApp Open Solution for Hadoop, EMC Isilon ou Panasas, ces différents exemples nécessitent un cluster de calcul et un cluster de stockage, doublant le hardware. Et pourquoi ? parce que ces 4 vendeurs sont des vendeurs de matériels...
Il est important de noter également que Scality ne distribue pas de distribution Hadoop mais supporte les distributions Hortonworks HDP 1.0 et Cloudera CDH4. Scality s'affirme donc comme un acteur pertinent sur cet axe de solutions avec la volonté confirmée de fournir une plateforme de stockage et de traitement de données convergente.