Появление и распространение жидкостного охлаждения в массовых дата-центрах

О документе

Технический white paper ASHRAE о факторах, ускоряющих переход дата-центров от преимущественно воздушного к жидкостному охлаждению. Документ связывает рост мощности CPU, GPU, FPGA и памяти с ограничениями воздушных систем по расходу воздуха, температуре, шуму, плотности стоек и безопасности персонала. Рассмотрены классы воды ASHRAE, прямое жидкостное и иммерсионное охлаждение, влияние на PUE, TCO, электроснабжение, теплоутилизацию и особенности внедрения в enterprise-, HPC- и colocation-ЦОД.

Какое решение описано

Анализируется поэтапный переход к жидкостному охлаждению ИТ-оборудования — прежде всего direct liquid cooling (DLC) с подачей теплоносителя к серверным компонентам, а также гибридные схемы с жидкость—воздух rear-door heat exchangers и иммерсионное охлаждение. Для объекта рекомендуется заранее предусматривать возможность подвода жидкости к стойкам, трубопроводы, теплообменники, контроль утечек, дренажи, водоподготовку и автоматику; выигрыш по эффективности достигается при использовании тёплой обратной жидкости, экономайзинга и сокращении механического охлаждения.

Главное

• Рост мощности сокетов и памяти, при одновременном снижении допустимой температуры корпуса компонентов, ограничивает применимость воздушного охлаждения и увеличивает число серверных SKU, требующих жидкостного охлаждения.
• Потребный расход воздуха у плотных серверов может превышать возможности типовой подачи через фальшпол; увеличение оборотов вентиляторов повышает энергопотребление, шум и риски для HDD.
• Жидкостное охлаждение позволяет повышать плотность вычислений, уменьшать число стоек и физической сетевой/электрической инфраструктуры для заданной ИТ-нагрузки; после его внедрения главным ограничением плотности может стать электропитание.
• Снижение требуемой температуры воды из-за роста тепловой нагрузки уменьшает доступные часы экономайзинга и способно увеличить CAPEX и OPEX, поэтому температуру контура необходимо оценивать с учётом CPU/GPU, памяти и гидравлической архитектуры сервера.
• Для масштабного внедрения необходимы проектные меры по трубопроводам и защите от протечек, а в colocation-объектах ограничения SLA на воду у стойки могут сделать промежуточные жидкость—воздух решения практичным первым этапом.

Ключевые цифры

Год публикации документа

2021

Указано в копирайте ASHRAE.

Период завершения умеренного роста энергопотребления серверов

около 2018 год

После этого рост мощности вычислительных, memory- и storage-подсистем стал сильнее осложнять эксплуатацию ЦОД.

Нижняя граница классов воды ASHRAE

2 °C

Нижний температурный предел для всех классов W.

Классы воды ASHRAE

W17, W27, W32, W40, W45, W+

Обозначения отражают верхнюю температурную границу соответствующего класса.

Максимальная температура воздушного класса ASHRAE A4

45 °C

113°F.

Диапазон температуры класса H1

15–25 °C

Класс для высокоплотного ИТ-оборудования с воздушным охлаждением.

Порог мощности сокета, усложняющий воздушное охлаждение серверов 1U/2U

300–400 W

При таком росте мощности стандартные серверы 1U и 2U становятся сложнее для охлаждения воздухом.

Максимальная подача воздуха через напольную плитку

1900 cfm

Указанный уровень для лучших ЦОД.

Требуемый воздушный поток отдельных серверов

100 и более cfm/U

При 1900 cfm от одной плитки стойка могла бы быть заполнена только на 19U.

Доступная высота стойки при одной плитке и расходе 100 cfm/U

19 U

Расчёт при подаче 1900 cfm через одну напольную плитку.

Прирост требований новых серверов к мощности и охлаждению

25 и более %

По сравнению с заменяемыми серверами в период «power wars».

Доля мощности вентиляторов в мощности сервера

до 20; в отдельных случаях 2 %

Исторически доля снижалась благодаря регулированию и оптимизации вентиляторов; для плотных серверов она может вновь расти.

Рост скорости воздушного вентилятора

30–50 %

Вызывает увеличение уровня звукового давления на 6–9 dB.

Рост уровня звукового давления

6–9 dB

Следствие увеличения скорости air mover на 30–50%.

Акустический диапазон риска для HDD

1–20 kHz

Акустические возмущения в этом диапазоне стали доминирующим механизмом риска для HDD.

Уровень звукового давления, ухудшающий производительность HDD

свыше 110 dB

Невзвешенный общий уровень звукового давления может существенно ухудшать throughput.

Типовая мощность высокоплотной стойки

40–50 kW

Для такой стойки может требоваться до 5000 cfm воздушного потока.

Напряжение распределения питания для масштабных HPC/жидкостно-охлаждаемых систем

480 V

Переход с 208 V может уменьшить размеры проводников, число цепей и PDU, а также потери распределения.

Площадь офисов, которую может обогревать сбросное тепло SuperMUC-NG

40 000 м²

Эквивалентно 430 500 ft².

Холодопроизводительность адсорбционного чиллера LRZ

600 kW

Вырабатывает охлаждённую воду для rear-door heat exchangers.

Что полезно собственнику ЦОД

Для собственника или проектной команды документ служит ориентиром, когда перестаёт быть достаточным традиционное воздушное охлаждение: необходимо сопоставлять мощность сокета, нагрузку памяти, требуемый расход воздуха на U, ограничения температуры и допустимую плотность стойки. На этапах концепции и проектирования следует резервировать архитектуру для жидкостного охлаждения — трассы и подключения к стойкам, теплообменники, водоподготовку, автоматику, детекцию/отвод утечек и остаточное воздушное охлаждение. Экономическое сравнение нужно проводить не только по PUE, но и по порогу плотности, при котором liquid cooling снижает первоначальную стоимость на MW, а также по влиянию температуры воды на часы free cooling и потребность в чиллерах.

Где применяется

Темы