Introduction et présentation

logo_visite Dans le cadre de ce dossier sur Dédibox, Génération-NT a été invité à venir visiter le datacenter. Je me suis donc rendu au siège social de Iliad où j’avais rendez-vous avec Isabelle Audap, attachée de presse de la société. Les présentations faites, nous nous sommes dirigés vers les locaux en taxi où nous devions rejoindre Arnaud, responsable de l’équipe de Dédibox, qui sera notre guide tout au long de la visite.

Ce qui frappe le plus en arrivant sur les lieux, c’est que rien ne transparaît de l’extérieur : on dirait un banal entrepôt (de 6300m² tout de même) comme il en existe tant en France, et on a du mal à s’imaginer que derrière ces murs anonymes se cachent des milliers  de  serveurs. L’explication en est toute simple : « l’anonymat est la première des sécurités » (dixit Arnaud). On pourrait passer devant sans s'en rendre compte et c'est certainement ce que j'aurai fait si j'avais été seul.

Ce compte-rendu va vous présenter la chaîne d'alimentation du site en énergie où, vous le verrez, rien n'a été laissé au hasard, puis les différents systèmes de sécurité, et enfin le coeur de Dédibox : la salle des serveurs.

 

Alimentation du datacenter

Comme vous devez vous en douter, la demande en électricité d’un tel site est énorme. Le site est alimenté par deux arrivées EDF de 20 000 Volts (l’une étant là en cas de défaillance de l’autre) réparties sur quatre transformateurs qui abaissent la tension à 400 Volts.

dedibox_ WM_Transformateurs 1     dedibox_ WM_Transformateurs 2

L'intensité étant énorme, le courant se déplace non pas sur de simples fils électriques, qui fondraient à coup sûr, mais sur des barres de cuivre.
 
Malgré la présence des deux arrivées EDF, le risque qu’une interruption survienne n’est pas inexistant… C’est pourquoi cinq groupes électrogènes (quatre utiles plus un en cas de panne) de 2,5MVA ont été installés :

dedibox_ WM_G     dedibox_ WM_Syst

Chacun de ces énormes moteurs est capable d’alimenter une ville d’environ 1 500 habitants et c’est là leur utilité première car ce genre d’installation est destiné à certaines zones du monde inaccessibles  à  l’électricité.  Pour  information,  il  n’existe  qu'une  dizaine  de  groupes électrogènes de ce type dans le monde, dont cinq dédiés à la seule redondance du présent datacenter.

Les  moteurs  fonctionnent  au  gasoil,  contenu  dans  deux  cuves  affichant  60.000  litres  de contenance à elles deux et passant par une nourrice de 1000 litres assurant ainsi la liaison en cas de changement de cuve.

Le démarrage de tels mastodontes n’est bien sûr pas instantané mais grâce à une résistance électrique placée dans le système de refroidissement, qui conserve le moteur à température de fonctionnement, ce temps est abaissé à une petite dizaine de secondes !

Enfin, pour ne pas avoir de mauvaises surprises au moment crucial, un banc de test automatique permet de faire fonctionner les moteurs une fois par mois et par là même de vérifier tous les systèmes le bon fonctionnement de toute la chaîne d'alimentation par ces moteurs.

Alimentation du datacenter (suite)

Le courant passe ensuite par une pièce qui renferme 12 onduleurs de 400KVA. Couplé aux 90 tonnes de batteries, ce système offre 15 minutes d’autonomie à l’ensemble du site en cas de coupure de courant :

dedibox_ WM_Onduleur 1     dedibox_ WM_Onduleur 2

Chacune des batteries est surveillée individuellement depuis le centre de contrôle ce qui permet d’agir rapidement en cas de défaillance de l’une d’entre elles.
 
Enfin, les serveurs sont alimentés par 29 armoires de distribution Basse Tension équipées d’un système de bascule  automatique  de  source  d’alimentation  ainsi  que  d’un  transformateur d’isolation :

dedibox_ WM_Armoire BT 2     dedibox_ WM_Armoire BT 1


Sécurité du site

Pour entrer dans les locaux renfermant les serveurs, montrer patte blanche n’est certainement pas  suffisant !!  En  effet,  la  sécurité  n’est  pas  prise  à  la  légère  et  toute  personne  sans autorisation (ou non accompagnée) se retrouvera bien vite en fâcheuse posture…

S’approcher du bâtiment totalement anonyme sans se faire repérer tiendrait de la magie. En effet, pas moins de 200 caméras à 360° quadrillent l’ensemble du site 24h/24 et si le gardien détecte une présence  non  sollicitée,  il  peut  enclencher  un  puissant  système  d’éclairage permettant de voir comme en plein jour.


De l’extérieur, ce n’est pas la peine d’essayer de forcer une vitre, elles sont toutes pare-balles et certaines sont mêmes doublées, et si d’aventure le besoin s’en faisait sentir, des volets blindés descendent pour renforcer la résistance. Le seul moyen donc de rentrer est de posséder un badge d’identification unique qui déverrouillera le sésame pour laisser place à… deux sas de banque tout aussi résistants :


En entrant dans ces sas, la personne est soumise à différents tests. Après la présentation de son badge, elle doit poser sa main sur un support afin d’analyser ses empreintes, elle sera dans le même temps pesée et enfin,  une  détection de métal et du nombre de personnes présentes dans le sas sera effectuée. Si un seul de ces paramètres s’avère erroné, le sas se verrouille, une sirène se met à hurler un air monotone pour faire patienter l’intrus jusqu'à l'arrivée de l'agent de sécurité.

Sécurité du site (suite)

La méthode conventionnelle pour éteindre un feu est de l’asperger d’eau jusqu’à ce que mort s’ensuive. En présence d’électricité, et a fortiori de systèmes informatique, il est bien entendu hors de question d’appliquer cette méthode (autant laisser le feu faire son oeuvre destructrice).

Malgré tout, il fallait protéger le site contre les incendies et pour cela, il s'est vu équipé de la technologie d'atomisation d'eau Fogtec. Cette technologie repose sur le principe de la brume : de l’eau est atomisée en un fin brouillard, grâce à un compresseur à 200 bars, et va circonscrire le foyer mais pas l’éteindre. Ce système est certifié jusqu’à 20 000V. Comprenez qu’aucun appareil fonctionnant en dessous de cette tension limite ne subira de dommages lors de la mise en marche du « brumisateur ».

dedibox_ WM_Buses de vaporisation 2     dedibox_ WM_Buses de vaporisation 1

dedibox_ WM_Compresseurs HP

Comme vous pouvez le voir sur la photo des buses, une petite capsule est placée sous un cylindre. Cette capsule explosera si la pression exercée par le cylindre est trop importante (le système  a  été  mis  en marche)  ou  si  la  température  dépasse  70°C,  relâchant  la  brume salvatrice. Contrairement aux systèmes anti-incendies communs, si un feu se déclare, toutes les buses ne se mettront pas à vaporiser à tout va. Ainsi, seule la zone incriminée sera embrumée permettant de cibler d’un seul coup d’œil l’origine du sinistre et au personnel d’évacuer le site en toute quiétude.

Le rôle du système d'atomisation d'eau étant de circonscrire le feu, il faudra bien l’éteindre à un moment ou à un autre. C’est là qu’entre en jeu le système de détection incendie, qui permet de soumettre le type de feu auquel vont faire face les personnes chargées de l’éteindre, en analysant les fumées. Ainsi elles pourront facilement choisir l’extincteur le mieux approprié (feu électrique, plastique, etc.).

Enfin,  sachez  que  les  fumées  seront  évacuées  en  quelques  secondes  par  un  système d’aspiration (différent de celui de la salle d’hébergement, bien entendu).

Salle des serveurs

On sait tous que le principal problème des PC actuels est leur refroidissement. Je vous laisse imaginer le casse-tête lorsqu’on a l’ambition de rassembler pas moins de 60 000 machines dans une même pièce : cette dernière pourrait se transformer en haut-fourneau en très peu de temps sans une bonne aération ! Les responsables ont donc mis en place un système de ventilation verticale : de l’air frais rentre par le sol et l’air chaud est aspiré au plafond ( j'ai eu la sensation d'être dans une gigantesque unité centrale ).

A l’intérieur, une température de 19°C (± 1°C) est conservée en permanence grâce à 51 armoires de climatisation, qui comprennent chacune deux compresseurs en redondance et en partage de charge, un filtre à particule ainsi qu’une turbine de ventilation.


Salle des serveurs (suite)

En apprenant que j’allais visiter le datacenter,  j’imaginais que cette partie serait la plus impressionnante. Et bien je me trompais : au-delà du nombre de machines présentes, rien de bien transcendant pour les mirettes.

Grâce à leur architecture machine propriétaire, l’équipe Dédibox est capable de stocker 2 fois plus de serveurs par baies que les architectures habituelles.


Chaque bloc de baies est pourvu de trois redresseurs fournissant la meilleure alimentation possible, sachant que chaque baie consomme 2KW. Enfin, chaque serveur est pourvu d’un KVM permettant aux opérateurs d’accéder aux machines sans bouger du centre de contrôle. Il est à noter que lorsqu’un serveur grille, celui-ci n’est pas remplacé immédiatement : il reste là où il est en attendant une réparation future, les abonnés n'étant pas impactés par cette panne grâce à un système de remplacement automatique de serveur ; on pourrait appeler cela, en parallèle au WYSIWYG, le WIRIWIS : Where It Roasted Is Where It Stays :P…

Fruit de six mois de recherche et développement par l’équipe d’ingénieur de Dédibox, la carte mère est une architecture propriétaire basée sur du matériel VIA. A l’exception de la mémoire vive, toutes les pièces et pilotes sont du fait de l’équipe et sont donc adaptés aux besoins de la machine. C’est ce qui permet une densité de serveurs par baie record et de maîtriser toute la chaîne de production.

Le montage des serveurs est assuré par une équipe spécialisée qui produit une machine toutes les 4 à 6 minutes en moyenne, ce qui permet de fournir 400 à 500 serveurs par jour et - petit calcul mental – 12 000 à 15 000 serveurs par mois ! Afin d’assurer la meilleure traçabilité possible, chaque composant se voit affublé d’un code barre dont les données sont entrées dans une base de données (date d’arrivée, constructeurs, etc.).

Une fois en place, les serveurs sont surveillés depuis le centre de contrôle, placé, à juste titre, au centre du complexe. Là, une sympathique équipe d’informaticiens ( insomniaques pour certains, paraît-il ) se préoccupe du bon fonctionnement de l’intégralité de l’infrastructure.


Personnellement, je lui trouve même un petit air de centre de lancement de la NASA avec les écrans LCD pendus au mur et les box du premier plan

Conclusion et remerciements

En allant visiter le datacenter de Dédibox, je m’imaginais visiter un bête entrepôt où s’entassaient des serveurs par milliers… Finalement, au terme des deux heures qu'a duré la visite, j'étais plus qu'impressionné. En effet, vu le prix annoncé je m'étais laissé aller à penser à des infrastructures proches de la vétusté, une équipe d'administration et de maintenance peu qualifiée, et tutti quanti... Que nenni mon seigneur, c'est tout le contraire grâce, notamment, aux économies d'échelles entraînées par l'architecture unique de toutes les machines en présence !

Sachez donc, anciens, nouveaux ou futurs possesseurs de Dédibox, que vos données (sensibles ou non) sont entre de bonnes mains ! Conscient que ce compte rendu n’est qu’un pâle reflet de ce que j’ai eu le plaisir de voir, j’espère néanmoins, qu’il vous a plu.

Je tiens à remercier les personnes qui ont permis que cette visite soit possible :

  • Isabelle Audap, pour sa gentillesse et sa disponibilité,
  • Arnaud, pour la visite et ses précisions ultérieures,
  • Simon T., Laurent K. et Olivier pour la partie présentation du service,


Différents sites qui m'ont aidé durant la rédaction :