При нагрузках свыше 100 кВт на стойку традиционное воздушное охлаждение (даже с холодными/горячими коридорами и прецизионными кондиционерами) исчерпывает свою эффективность. На первый план выходят технологии, где теплоносителем является жидкость, обладающая в тысячи раз большей теплоемкостью, чем воздух.
Вот основные способы и схемы охлаждения для таких экстремальных плотностей, предлагаемые на рынке.
1. Прямое жидкостное охлаждение к чипу (Direct-to-Chip, D2C)
Принцип: Холодные пластины (cold plates) устанавливаются непосредственно на горячие процессоры (CPU), GPU, память (DRAM). Жидкость (чаще деионизированная вода) циркулирует по микроканалам внутри пластины, забирая тепло у кристалла, и отводится в внешний контур.
Как реализуется: CDU (Coolant Distribution Unit) устанавливается в стойку или рядом, распределяя жидкость по отдельным пластинам.
Примеры решений: CoolIT Systems, Asetek, Liebert® VIC (Vertiv), Schneider Electric Ecoflair® Direct Liquid Cooling.
Преимущества: Крайне высокая эффективность (температура чипа значительно снижается). Позволяет разогнать процессоры. Снижает общее энергопотребление ЦОД за счет снижения нагрузки на вентиляторы серверов.
Предел: Обычно 30-50 кВт на стойку в чистом виде, но в комбинации с другими методами (гибридная схема) позволяет достигать 100+ кВт.
2. Охлаждение на уровне стойки (дверь/панели с теплообменником)
Принцип: Вся стойка герметизируется, превращаясь в «духовку». Горячий воздух от оборудования прогоняется через жидкостной теплообменник, вмонтированный в заднюю дверь или боковые панели стойки. Тепло передается воде или смеси гликоля.
Как реализуется: Установка специальной двери с теплообменником на стандартную стойку 48U/1200мм.
Примеры решений: Rear Door Heat Exchanger (RDHx) от Schneider (Ecoflair), Vertiv (Liebert DCD), Rittal (LCP), IBM, Eaton.
Преимущества: Относительно простая интеграция в существующую инфраструктуру. Снимает 70-90% тепловой нагрузки с комнатной системы кондиционирования. Плотность до 40-60 кВт на стойку.
Предел: Обычно до 50-70 кВт для одной двери. Для 100+ кВт требуется комбинация (задняя дверь + боковые панели) или переход на иммерсионное охлаждение.
3. Иммерсионное охлаждение (однофазное и двухфазное)
Принцип: Серверные платы (без корпусов и вентиляторов) полностью погружаются в диэлектрическую жидкость.
- Однофазное: Жидкость циркулирует, нагреваясь от компонентов, и охлаждается во внешнем теплообменнике.
- Двухфазное: Жидкость с низкой температурой кипения закипает на горячих чипах, пар конденсируется в охладителе внутри бака, возвращаясь обратно. Это самый эффективный метод.
Как реализуется: Специальные стойки-баки (иммерсионные ванны) или открытые желоба.
Примеры решений: GRC (Green Revolution Cooling), Submer, LiquidStack, Asperitas, 3M (Novec), Midas (отечественные разработки).
Преимущества:
- Предельная плотность: Легко достигает 150-250 кВт на стойку (и даже выше).
- Максимальная энергоэффективность: Отсутствие вентиляторов, возможность использования высокотемпературной воды (+45°C и выше) для free-cooling круглый год в большинстве климатических зон. PUE может стремиться к 1.02-1.03.
- Компактность: Крайне высокая плотность вычислений на кв. метр.
Недостатки: Нетривиальное обслуживание (нужно сливать жидкость), риск утечки, высокая начальная стоимость жидкости, необходимость сертифицированного совместимого оборудования.
4. Гибридные (комбинированные) схемы (Самый распространенный путь для 100+ кВт)
Принцип: Сочетание нескольких технологий в одной стойке для достижения целевой мощности.
Типовая схема для 100+ кВт:
- 70-80% нагрузки (CPU/GPU) забирается системой прямого жидкостного охлаждения (D2C).
- 20-30% нагрузки (память, VRM, накопители) отводится высокоскоростной принудительной воздушной конвекцией внутри герметичной стойки.
Нагретый воздух от второстепенных компонентов охлаждается дверью с теплообменником.
Почему это популярно: Позволяет использовать стандартные или слегка модифицированные серверы (с установленными холодными пластинами), не уходя в полную иммерсию. Эффективно и относительно универсально.
Сравнительная таблица методов для > 100 кВт
| Метод | Принцип работы | Плотность (кВт/стойка) | Энергоэффективность (PUE) | Сложность / стоимость | Идеальный сценарий |
|---|---|---|---|---|---|
| Гибридное (D2C + Воздух) | Холодные пластины на CPU/GPU + усиленный воздушный обдув остальных компонентов + дверь-теплообменник | 100 - 150 кВт | 1.1 - 1.2 | Высокая (кастомизация серверов, две системы) | AI-кластеры, HPC с GPU. Баланс эффективности и универсальности |
| Иммерсионное (двухфазное) | Полное погружение серверных плат в кипящую диэлектрическую жидкость | 150 - 250 кВт+ | 1.02 - 1.05 | Очень высокая (экзотика, спец. оборудование, дорогая жидкость) | Майнинг, специализированные AI-вычисления, максимальная плотность и эффективность |
| Иммерсионное (однофазное) | Полное погружение, циркуляция нагретой жидкости через внешний теплообменник | 100 - 200 кВт | 1.05 - 1.1 | Высокая | Те же, что и для двухфазного, с чуть меньшей эффективностью, но часто проще |
| Охлаждение дверью (RDHx) в максимальной конфигурации | Герметичная стойка + задняя дверь + боковые панели с теплообменниками | До 80-100 кВт (предел) | 1.15 - 1.25 | Средняя/Высокая (требует много места для труб) | Плотные стойки с традиционными серверами, где нельзя модифицировать сами серверы |
Рыночные тренды и решения от крупных вендоров
- Конвергентные решения: Крупные игроки (Dell, HPE, Lenovo) предлагают предконфигурированные стойки для AI/ML, где уже установлены холодные пластины и организована гибридная система охлаждения "под ключ".
- Партнерские экосистемы: Например, NVIDIA сотрудничает с GRC и другими для охлаждения своих DGX и HGX систем иммерсионным способом.
- Полный цикл от ЦОД-провайдеров: Компании вроде Schneider Electric и Vertiv предлагают не просто стойку, а целый модуль ЦОД с интегрированной жидкостной петлей, CDU и внешними сухими градирнями, рассчитанный именно на такие плотности (как в вашем ТЗ).
Критерии выбора решения для > 100 кВт
- Тип оборудования: Можно ли модифицировать серверы (установить холодные пластины)? Если нет – иммерсия или дверь.
- Температура теплоносителя: Чем выше допустимая температура на входе (например, +45°C), тем дольше можно использовать free-cooling и тем ниже PUE. Иммерсионные системы здесь лидируют.
- Общая инфраструктура: Наличие места для градирен, CDU, трубопроводов.
- Бюджет (TCO): Иммерсия имеет высокие кап. затраты, но самые низкие операционные (OpEx) за счет феноменальной энергоэффективности.
- Скорость развертывания и масштабируемость: Готовые модульные решения (контейнеры с иммерсионным охлаждением) могут быть развернуты быстрее всего.
Вывод
Для стоек выше 100 кВт рынок предлагает переход в жидкостную фазу. Гибридные системы (D2C + воздух) – это наиболее сбалансированный и популярный выбор для AI/ HPC. Иммерсионное охлаждение – это крайняя, но самая эффективная мера для абсолютного максимума плотности и минимума PUE. Ключевой вопрос – насколько готово ИТ-оборудование к интеграции с выбранной системой охлаждения.