Facebook compte développer « le stockage à froid » de ses données

le 18/10/2012, par Jean Elyan avec IDG News Service, Stockage, 704 mots

Pour réduire ses coûts et continuer à stocker des milliards de photos, Facebook continue à réinventer le datacenter.

Facebook compte développer « le stockage à froid » de ses données

Pour faire face aux 7 pétaoctets de photos que les utilisateurs du réseau social téléchargent chaque mois, Facebook envisage de stocker ses données autrement. Comme l'a déclaré Jay Parikh, vice-président de l'ingénierie des infrastructures de Facebook, « à mesure que ce nombre augmente, nous devons trouver une autre manière de stocker ces données, moins chère, et moins gourmande en énergie. »

« Chaque jour, les utilisateurs téléchargent environ 300 millions de photos, et davantage à certaines occasions, » a déclaré le vice-président lors la conférence Structure Europe qui s'est tenue à Amsterdam mercredi.

« C'est au moment de Halloween que nous observons les plus gros téléchargements de photos. Cette seule journée, les utilisateurs peuvent télécharger entre 1 et 2 milliards de photos, » a-t-il indiqué.

Ce genre de photos prises à l'Halloween perdent vite leur intérêt, et quelques jours ou quelques semaines après leur mise en ligne, elles n'intéressent probablement plus personne.

Mais en vertu de « notre contrat passé avec nos utilisateurs, nous ne pouvons pas supprimer les données quand elles ne sont pas utilisées. Nous devons donc les conserver, » a-t-il ajouté.

De là est venue l'idée de stocker ces photos dans une sorte de « chambre froide » pour données, a déclaré Jay Parikh. Pour ce faire, « Facebook envisage de construire un nouveau datacenter avec différentes solutions de stockage, d'autres types de serveurs et équipements réseau qui consomment moins d'énergie et sont moins coûteux que les datacenter existants - tout cela sans changer les temps de réponse des serveurs, » a déclaré le vice-président de l'ingénierie des infrastructures de Facebook.

Page : Jay Parikh, vice-président de l'ingénierie des infrastructures de Facebook (D.R.)




Gérer finement la demande des photos

Mais, quelle sera l'efficacité de ce type « de stockage à froid » envisagé par Facebook ? En général, la baisse des coûts et la réduction de la consommation électrique dans les centres de calcul se font au détriment de la vitesse d'accès.

Par exemple, le stockage de données sur bandes permet de réduire la consommation d'énergie, mais ralentit fortement le temps d'accès aux données. Amazon Web Services a choisi une solution intermédiaire pour son service de stockage dans le cloud Glacier, qu'il propose comme alternative au stockage sur bande.

Le service est optimisé pour les données qui sont rarement utilisées et pour lesquelles un temps de récupération de plusieurs heures reste acceptable. Mais, ce service « serait beaucoup trop lent pour Facebook, » comme l'a précisé Jay Parikh. « Même si un utilisateur veut retrouver une photo publiée il y a 5 ou 10 ans en arrière, nous ne pouvons pas lui dire de revenir 24 heures plus tard. Non, la consultation doit pouvoir continuer à se faire en temps réel, » a t-il déclaré.

La plupart des datacenters actuels sont optimisés de façon à réserver l'énergie pour les tâches qui ont besoin d'une puissance de calcul élevée. « La technologie du « stockage à froid » envisagée par Facebook prend un peu le contrepied, » a expliqué le vice-président de l'ingénierie des infrastructures de Facebook.




« Il faut beaucoup, beaucoup d'espace, mais il n'est pas nécessaire d'avoir autant de puissance, » a-t-il déclaré, ajoutant que « tout ce qui concerne le datacenter doit être repensé pour traiter le problème à l'échelle de Facebook. »

« Au niveau supérieur, Facebook travaille sur un logiciel qui sera chargé de déterminer comment et où stocker une partie du contenu dans l'infrastructure en fonction de son âge, » a déclaré Jay Parikh.

« Cela signifie que les copies des données vont se déplacer au fil du temps et vont utiliser différents espaces de l'infrastructure que nous aurons optimisés en tenant compte de l'âge de ce contenu. Certains éléments que nous allons placer dans la couche logicielle vont permettre d'offrir une réponse rapide, mais le stockage des données sera plus efficace et moins coûteux, » a-t-il encore déclaré. Une sorte de solution multi-tiering à très grande échelle spécialement adaptée aux besoins de Facebook.

Dans un an ou deux, « le stockage à froid » fera partie de l'infrastructure de Facebook », a ajouté Jay Parikh. Facebook envisage de rendre public et de partager certains éléments pertinents de son projet dans le cadre de l'Open Compute Project. Cette initiative lancée par le réseau social consiste à appliquer le modèle de collaboration Open Source à l'environnement hardware des datacenters.

EMC sur le point de racheter Arista et Brocade ?

Une fois de plus les feux de la rumeur sont attisés autour d'EMC. Et une fois de plus, on lui prête l'intention de créer une alternative à Cisco. Le cabinet Bernstein Research est l'auteur d'une note cette...

le 20/03/2015, par Jim Duffy, Network World, 445 mots

Le stockage, fer de lance de la division entreprise de Huawei

Huawei veut être présent dans l'IT au sens large, aller vers le cloud computing et le datacenter, avec un catalogue très large.  Il a tenu son grand salon annuel sur le cloud computing a Shangaï mi-septembre...

le 16/10/2014, par Didier Barathon, 769 mots

Hitachi lance son infrastructure cloud en continu

Hitachi investit le datacenter avec de nouvelles offres de stockage virtualisé. Elles se font en liaison avec des partenaires stratégiques tels que Microsoft pour son cloud privé, SAP Hana, VMware et sa...

le 24/04/2014, par Brian Karlovsky, IDG NS, 483 mots

Dernier dossier

Les white-box sont-elles l'avenir de la commutation réseau ?

Et si vous pouviez gérer vos commutateurs de centres de données et vos routeurs de la même façon que vos serveurs et ainsi réduire les coûts des dépenses en capital ? C'est la promesse des white-box qui amènent des systèmes d'exploitation réseau open source fonctionnant sur du matériel courant.Pour en avoir le coeur net, nous avons testé Cumulus...

Dernier entretien

Joël Mollo

VP Europe du sud de SkyHigh

« Nous créons un nouveau marché autour de la sécurité du cloud »