Refroidissement par immersion des GPU IA : fonctionnement et enjeux

Pourquoi les GPU IA ont eu raison du refroidissement par air

Pendant des décennies, refroidir un data center relevait du traitement d’air : de l’air frais aspiré à l’avant de chaque serveur, de l’air chaud rejeté à l’arrière, et des allées, centrales de traitement d’air et groupes froids pour faire le reste. Le modèle fonctionnait parce que la charge des baies restait dans les limites de ce que l’air en mouvement pouvait absorber.

L’IA a changé la donne. Chaque génération d’accélérateurs concentre davantage de puissance dans un boîtier de taille comparable : la densité de flux thermique au niveau de la puce ne cesse d’augmenter. Les clusters rapprochent ensuite les GPU autant que possible, car des interconnexions plus courtes accélèrent les échanges. Résultat : énormément de chaleur sur une faible surface, exactement ce que l’air gère le plus mal.

L’air stocke peu d’énergie thermique par unité de volume ; évacuer plus de chaleur oblige donc à en déplacer beaucoup plus, avec des dissipateurs plus grands, des ventilateurs plus rapides et plus bruyants, un air soufflé plus froid. Tout cela consomme de l’énergie sans ajouter la moindre capacité de calcul. Au-delà d’une certaine densité, la limite d’une baie n’est plus le silicium mais le débit d’air nécessaire pour la maintenir en température. Le refroidissement liquide fait l’inverse et amène le fluide jusqu’à la chaleur. Les plaques froides posées directement sur les puces sont une première voie ; l’immersion va plus loin en plongeant le serveur entier dans le liquide.

Comment fonctionne le refroidissement par immersion monophasique

Dans un système d’immersion monophasique, les serveurs sont installés verticalement dans une cuve remplie d’un fluide diélectrique, un liquide qui ne conduit pas l’électricité. GPU, CPU, mémoire et composants d’alimentation fonctionnent entièrement immergés, au contact direct du fluide caloporteur. « Monophasique » signifie que le fluide reste liquide de bout en bout : il se réchauffe, circule et se refroidit, mais ne bout jamais. Le parcours de la chaleur se déroule en cinq étapes :

1. La chaleur passe dans le liquide. Chaque composant cède sa chaleur directement au fluide qui l’entoure.
2. Le fluide chaud est collecté. Un collecteur de retour envoie le liquide réchauffé vers une unité de distribution du liquide de refroidissement (CDU).
3. La CDU échange la chaleur. Un échangeur thermique la transfère à une boucle technique distincte. Les deux fluides ne se mélangent jamais.
4. Le fluide refroidi revient. Un collecteur de distribution renvoie le liquide refroidi de façon homogène vers les serveurs.
5. La chaleur est rejetée à l’extérieur. La boucle technique l’achemine vers des unités de rejet thermique, par exemple des aéroréfrigérants en toiture, qui la dissipent dans l’air ambiant.

Des pompes assurent la circulation ; les serveurs n’ont plus de ventilateurs. En pratique, la cuve remplace les allées chaudes et froides et l’essentiel du traitement d’air d’une salle informatique conventionnelle.

Immersion monophasique ou diphasique

L’immersion diphasique utilise un fluide à bas point d’ébullition. Il bout au contact des composants chauds ; la vapeur monte, se condense sur un serpentin refroidi au-dessus du bain, puis retombe. Le changement de phase absorbe beaucoup d’énergie, ce qui rend le diphasique très efficace sur les points chauds. En contrepartie, les cuves doivent être étanches pour contenir la vapeur, les pertes de fluide exigent un contrôle strict, et certains fluides fluorés historiquement utilisés en diphasique font l’objet d’un encadrement réglementaire croissant.

L’immersion monophasique maintient le fluide à l’état liquide en permanence et repose sur la circulation et un échangeur thermique. Les fluides employés sont généralement des liquides techniques, à base d’hydrocarbures ou synthétiques, au point d’ébullition élevé : l’évaporation est minime et il n’y a aucune vapeur à confiner. Intervenir sur un serveur revient à le sortir d’un bain liquide, et non à ouvrir une enceinte de vapeur étanche.

Les deux approches savent refroidir du matériel dense. Pour un système expédié sur des sites éloignés et entretenu par des ingénieurs de terrain, le monophasique est le choix le plus simple et le plus tolérant à l’usage ; c’est celui du BAYWAW AI Container.

Ce que change le refroidissement par immersion

Efficacité énergétique

Selon l’enquête annuelle Global Data Center Survey de l’Uptime Institute, le PUE moyen du secteur oscille entre 1,5 et 1,6 depuis des années. Autrement dit, pour chaque kilowattheure qui parvient aux équipements informatiques, une installation type consomme encore environ un demi-kilowattheure pour le refroidissement et les autres usages annexes. Le BAYWAW AI Container affiche un PUE de 1,05. L’immersion comble l’essentiel de cet écart, car faire circuler un liquide dans un échangeur thermique demande bien moins d’énergie que refroidir et brasser de grands volumes d’air. La suppression des ventilateurs des serveurs allège en outre la charge informatique elle-même, une économie que le PUE ne mesure même pas. À l’échelle d’une installation de 1,2 MW fonctionnant en continu, soit environ 10,5 GWh par an, l’écart entre un PUE moyen et 1,05 n’a rien d’un détail : c’est une ligne à part entière du budget d’exploitation.

Densité

La chaleur étant captée à la source, les serveurs peuvent être placés côte à côte, sans l’espacement ni les gaines qu’impose le flux d’air. Dans le BAYWAW AI Container, cela représente 104 GPU NVIDIA B300 par cuve et 624 dans un seul conteneur ISO de 40 pieds, transportable par route ou par mer.

Fiabilité

Les serveurs n’ont plus de ventilateurs, ces pièces mobiles qui s’usent et finissent par tomber en panne. Les composants restent sous la surface du liquide, à l’abri de la poussière et de l’humidité, ce qui limite aussi la corrosion. L’inertie thermique du bain atténue les variations de température : le matériel fonctionne dans un environnement plus stable que celui que l’air offre habituellement.

Climat

Chaleur du désert, tempêtes de sable et humidité côtière éprouvent durement le matériel refroidi par air. Dans une cuve d’immersion, l’électronique n’est jamais exposée à l’air extérieur ; seules les unités de rejet thermique font face à l’environnement, et elles peuvent être dimensionnées pour les conditions locales. Un atout dans le Golfe et dans toute la région MENA, où de nombreux sites retenus pour une infrastructure IA souveraine cumulent températures ambiantes élevées et sable en suspension.

Bruit

Dans une salle refroidie par air, des serveurs IA en pleine charge sont bruyants. Sans ventilateurs, une cuve d’immersion est peu bruyante ; les principales pièces en mouvement sont les pompes et les aéroréfrigérants en toiture.

Exploitation et maintenance : les contreparties, en toute transparence

L’immersion change la manière d’intervenir sur le matériel, pas le niveau de rigueur exigé.

• Sortie des lames. Les serveurs sont extraits verticalement du bain et égouttés avant toute intervention, un geste bien différent du retrait d’un serveur en baie.
• Gestion du fluide. Les niveaux sont surveillés, les petites pertes liées aux interventions sont compensées et l’état du fluide est contrôlé dans la durée.
• Formation. Les techniciens doivent être formés spécifiquement au matériel immergé et à la manipulation du fluide, et le vivier d’ingénieurs expérimentés est plus restreint que pour le refroidissement par air.
• Coordination des garanties. Les garanties serveurs ont historiquement été pensées pour le refroidissement par air ; en immersion, les conditions doivent être convenues avec les fabricants d’équipement d’origine (OEM).

Rien de tout cela ne justifie d’écarter l’immersion, mais cela invite à choisir un modèle d’exploitation avant de choisir une cuve. Chez BAYWAW, ces tâches font partie de nos services managés : des ingénieurs sur site prennent en charge les interventions sur les lames, le remplacement des composants et le fluide ; la gestion des garanties couvre la coordination avec les OEM et les réclamations ; la supervision 24/7 veille sur toute la chaîne thermique. Vos équipes n’ont pas à manipuler le liquide.

Comment BAYWAW met en œuvre le refroidissement par immersion

Le BAYWAW AI Container applique l’immersion monophasique dans un conteneur 40 pieds High Cube, construit, intégré et testé aux Émirats arabes unis.

• Six cuves d’immersion GRC NX, disposées en 3 + 3 de part et d’autre d’une allée de service centrale, pour que chaque cuve reste accessible.
• 13 serveurs et 104 GPU NVIDIA B300 par cuve, soit 78 serveurs Hypertec et 624 GPU au total.
• Une anatomie de cuve claire : un collecteur de distribution, des lames serveurs posées sur des plaques refroidies par liquide et immergées dans le bain diélectrique, et un collecteur de retour vers la CDU.
• Des boucles de refroidissement et des CDU redondantes, pour que le refroidissement ne dépende pas d’une seule unité, et des aéroréfrigérants en toiture pour rejeter la chaleur.

Cuves, CDU et aéroréfrigérants sont pré-intégrés et testés ensemble : le refroidissement arrive avec le conteneur, et non sous la forme d’une installation à construire sur site. Entre la commande et la mise en service, le délai peut descendre à quatre mois, avec une alimentation par le réseau ou par une centrale solaire avec stockage par batteries. Pour suivre la chaleur pas à pas, consultez notre page technologie de refroidissement par immersion, ou découvrez l’intérieur du BAYWAW AI Container.

Refroidissement par air ou par immersion : la comparaison

Le refroidissement par air reste un choix pertinent pour l’informatique généraliste ; l’équilibre bascule à mesure que la densité augmente. Cette comparaison qualitative porte sur des serveurs GPU IA denses.

Conclusion : le refroidissement conditionne désormais le calcul

Avec les GPU IA, le refroidissement détermine la puissance de calcul qu’un site peut accueillir, la part de la facture énergétique qui atteint réellement le silicium et la stabilité de fonctionnement de ce silicium. L’immersion monophasique répond à ces trois enjeux, au prix de nouvelles habitudes de maintenance qu’il vaut mieux confier à une équipe dédiée. Pour une vision d’ensemble, lisez notre guide d’achat des data centers conteneurisés.