Ibrix, diviser pour régner

Ibrix (www.ibrix.com), éditeur d'un file system dit segmenté, assez unique sur le marché (US Patent # 6782389), délivre une performance en entrées/sorties tout simplement incroyable, son débit agrégé peut atteindre 1 To/s ! attention il faut une belle configuration, surtout un nombre important de serveurs, mais sûrement pas les contraignantes architectures coûteuses et monolithiques que l'on trouve souvent dans le monde du super-calcul. Ce n'est pas innocent si Pixar a retenu cette solution pour son dernier film Cars, super exigeant et limité dans le temps de réalisation de part des contraintes de sortie courte, nous reviendrons sur l'architecture utilisée dans ce cas plus loin.

Ibrix possède essentiellement une seule gamme de produit - Fusion - avec un seul produit - FusionFS - autour duquel gravitent plusieurs modules supplémentaires: FusionHA et FusionManager. FusionFS est un système de fichiers qui adresse le double besoin de forte capacité et de débit important, l'idée est de supporter plusieurs centaines de Po en volume et plusieurs centaines de Go/s en étant le plus linéaire possible à un coût le plus faible possible.

L'esprit du produit repose sur la volonté de répartir la gestion des Meta-Data entre plusieurs serveurs et de permettre l'utilisation du système de fichiers même si une partie est indisponible vue la grande "horizontalité" de l'architecture. Le système de fichiers "physique" est divisé en segments, de taille potentiellement variable, et chaque segment est associé à un seul serveur qui contrôle les meta-data et les verrous des fichiers stockés sur son segment. Un serveur peut aussi gérer plusieurs segments et un fichier peut-être stripé entre plusieurs serveurs de segments augmentant ainsi le parallèlisme donc le débit. Le produit peut aussi supporter des I/O de petites ou de grandes tailles, il est donc utilisable dans des configurations assez variées. Il intègre un gestionnaire de volumes disques, propose bien sûr des mécanismes avancées d'équilibrage ou de répartition de charge et de modification en ligne de la configuration comme l'ajout de serveurs. Trés important, le stockage peut-être de nature SAN ou DAS avec des disques internes au serveur de segments. IBRIX Fusion se matérialise par une couche noyau au sein de Linux et peut se déployer en 2 modes: Cluster File System ou NAS évolutif. Avec le premier mode, chaque machine possède un agent ou driver spécifique pour comprendre la structure de file system et "router" les requètes vers le bon serveur de segments donc de fichiers. Dans le second mode, les clients utilisent les protocoles NAS standards, comme NFS ou CIFS, et "montent" un des serveurs de segments. Le serveur ainsi sollicité par un client servira directement la donnée s'il la possède ou routera la requète pour obtenir cette donnée suivant la nature de sa connexion au stockage: obtention des meta-data et accès direct dans le cas d'un SAN ou envoi des données à travers IP depuis un autre serveur de segment si le stockage est interne ou privé.
Alexa, filiale d'Amazon et acteur du monde internet dédié à l'analyze du trafic Web, collecte chaque jour 1.6To cumulant ainsi tous les 2 mois l'ensemble du trafic internet. Fin 2005, la société a lancé sa plateforme de recherche Web (www.alexa.com) et a mis en place Fusion pour délivrer le bon niveau de performance auparavant inconnu en terme de nombre de requètes ou de charge. La configuration retient 24 segments en DAS et SAN sous un seul espace de nom de fichiers pour une capacité de 16Po et a permi de batir une plateforme de Data Mining de 12 milliards de pages. Spinnaker Exploration, société du monde pétrolier, est passé de 3 jours à 3 heures en tant de calcul avec 2 clusters de 64 noeuds pour 30To de données soumise à Fusion. L'université du Texas est passé de 60 à 5 Minutes pour un calcul de simulation de turbulence de fluides grâce à un cluster de 512 noeuds pour 8To de données.
Pour Pixar, la configuration est différente et ne peut pas s'appuyer sur les techniques des 6 films précédents à base de NFS. Cars demande 300 fois plus de puissance de calcul que Toy Story. Pixar choisit une architecture de 12 serveurs de segments dont 4 servent 675 stations de travail, les 8 derniers étant dédiés au RenderFarm, l'unité de finition des frames. Avec cette configuration, le temps du calcul de rendu d'une image est donc passé avec Ibrix de 10h à 1h. Ibrix Fusion est aujourd'hui unique sur le marché, commençant à donner des idées à quelques autres, Ibrix d'ailleurs pourrait passer sous la coupe de...