Quantcast booste Hadoop

Quantcast (www.quantcast.com), éditeur d'une solution logicielle de mesure d'audience, vient de contribuer de façon étonnante à l'industrie. On imagine que Quantcast collecte une quantité énorme de données et les exploite avec Hadoop. C'est exactement ça sauf que l'éditeur non satisfait de la couche HDFS (Hadoop Distributed File System) a développé sa propre couche QFS (Quantcast File System) donnée à la communauté open source sous licence Apache 2. Le produit est donc gratuit et supporte les OS 64bits CentOS 6.2, Debian 6.0, OSX 10.8 ou Ubuntu 11.04. Pour valider son apport, la société l'illustre par son propre usage avec 20Po analysé chaque jour pour 100 millions de page web et 500 milliards d'enregistrements ajoutés et analysés aussi chaque mois.
Le but initial de Quantcast était de délivrer plus de performance et utiliser moins de ressources matériels. Contrairement à HDFS qui utilise 3 copies, QFS apporte une technologie d'Erasure Code à base de code Reed Solomon et consomme 150% de l'espace utile soit un gain de 50% par rapport à HDFS. Les lectures sont aussi grandement améliorées puisque 6 disques sont sollicités, au lieu de 1, et 3 parités pour une combinaison 6+3. Un mode Direct I/O a été aussi ajouté. A regarder de près, on constate que QFS vient du clone de Google FS appelée Kosmos FS. Le produit est téléchargeable sur http://quantcast.github.com/qfs/ alors à vos marques.