Центры обработки данных, построенные пять лет назад, с трудом справляются с охлаждением более 20 кВт на стойку. Сегодняшние рабочие нагрузки в области искусственного интеллекта требуют минимум от 20 кВт, а в системах следующего поколения планируется 250 кВт и более. Разрыв между существующей инфраструктурой и современными требованиями создает проблему стоимостью в миллиарды рублей, которую можно решить с только помощью грамотных инженерных решений.
Системы NVIDIA GB200 NVL72 потребляют до 40 кВт в конфигурации ОДНОЙ стойки. В последних кластерах Microsoft потребление уже обычно достигает 50 кВт на стойку. В Google мощность на одну стойку достигает плотности 60 кВт в своих модулях TPU.
Инфраструктура, обеспечивавшая работу облачных сервисов «вчерашнего» дня, не справится с искусственным интеллектом «завтрашнего» дня, и перед организациями встает непростой выбор: перестраивать все с нуля или разрабатывать креативные решения, которые позволят преодолеть этот разрыв.
Физика охлаждения при экстремальной плотности
Традиционная система воздушного охлаждения через фальшпол не работает при мощности более 11 кВт на стойку. Рециркуляция горячего воздуха может привести к тепловому разгону, когда температура выходит из-под контроля. Одна стойка мощностью 40 кВт генерирует столько же тепла, сколько 14 бытовых обогревателей, работающих непрерывно. Если разместить восемь таких стоек подряд, то тепловыделение будет эквивалентно теплу небольшого офисного здания.
Инженеры решают задачи, связанные с экстремальной плотностью, используя три основных подхода:
- Прямое жидкостное охлаждение подает охлаждающую жидкость непосредственно к источнику тепла, отводя 30-40 кВт на стойку с помощью теплообменников на задней дверце или холодных пластин.
- Иммерсионное охлаждение погружает целые системы в диэлектрическую жидкость, обеспечивая работу при плотности 50-100 кВт и исключая необходимость в вентиляторах.
- Гибридные подходы сочетают в себе несколько технологий, используя жидкостное охлаждение для графических процессоров и сохраняя воздушное охлаждение для компонентов с меньшей плотностью.
Математические расчеты однозначно указывают на преимущество жидкостного охлаждения. Коэффициент теплопередачи воды в 3500 раз превышает коэффициент теплопередачи воздуха. Системы жидкостного охлаждения достигают показателей эффективности использования энергии (PUE) 1,02–1,10 по сравнению с 1,4–1,8 для традиционного воздушного охлаждения. Каждое улучшение PUE на 0,1 экономит примерно 100 миллионов рублей в год на объекте мощностью 10 МВт.
Проблемы распределения электроэнергии усугубляются в больших масштабах
Для обеспечения 250 кВт электромощности на одну стойку требуется фундаментальная перестройка энергетической инфраструктуры. Традиционные сети на 220 В требуют соединений на 1200 ампер – то есть кабельные трассы толще человеческой руки. В современных системах используются распределительные сети на 380 В или 400 В для снижения потребляемого тока, но даже эти системы требуют огромных инвестиций в медные кабели. Для одной стойки мощностью 250 кВт требуется энергетическая инфраструктура, эквивалентная инфраструктуре одного многоквартирного дома.
Инженеры компании «Айсо-энерго» уже сталкиваются с ситуациями, когда на объектах пытаются переоборудовать электросети мощностью 5 кВт под нагрузку в 40 кВт. Постоянно срабатывают автоматические выключатели. Перегреваются трансформаторы. Блоки распределения питания выходят из строя под нагрузками, на которые они изначально не были рассчитаны. Часто организации обнаруживают, что общая мощность электросети их здания не может обеспечить работу более чем нескольких стоек высокой плотности, что приводит к дорогостоящей модернизации энергосистемы, на завершение которой уходит 18-24 месяцев.
Грамотное проектирование системы питания начинается с распределения постоянного тока там, где это возможно. Постоянный ток исключает потери при преобразовании, которые приводят к потере 10-15% мощности в традиционных системах переменного тока. Распределение постоянного тока снижает общее энергопотребление на 20%, одновременно повышая надежность. Современные системы на базе графических процессоров все чаще поддерживают прямой ввод постоянного тока, исключая многоступенчатые преобразования, которые выделяют тепло и снижают эффективность.
Механическая инфраструктура требует полного переосмысления
Стандартные полы в центрах обработки данных выдерживают нагрузку от 650 до 2500 кг на квадратный метр. Полностью загруженная стойка мощностью 250 кВт весит более 3000 кг, причем эта нагрузка сосредоточена всего на 1 квадратном метре. Усиление пола становится обязательным, что добавляет от 5 до 10 млн рублей к стоимости модернизации конструкции каждой стойки.
Сейсмочувствительные зоны сталкиваются с дополнительными проблемами, требующими специализированных систем изоляции, предотвращающих повреждение оборудования во время землетрясений.
Жидкостное охлаждение также вносит новые механические сложности. Для распределения охлаждающей жидкости требуются насосы, теплообменники и системы фильтрации, которых нет в традиционных установках. Для установки с жидкостным охлаждением мощностью 1 МВт необходим поток охлаждающей жидкости в объеме 80-120 м3/ч. Обнаружение утечек становится критически важным – одно нарушение циркуляции охлаждающей жидкости может за считанные секунды уничтожить оборудование стоимостью в миллионы долларов.
Проект и прокладка трубопроводов представляет собой колоссальные инвестиции. Трубы медные/нержавеющая сталь стоят от 5000 рублей (за 50Ø) до 2 000 000 (за 250Ø) млн рублей за погонный метр. Для одного ряда стойки с жидкостным охлаждением требуется от 50 до 1000 метров трубопроводов для подачи холода и отвода тепла. Коллекторы, клапаны и точки подключения также добавляют миллионы рублей к стоимости каждой стойки. В итоге получается, что стоимость механической инфраструктуры часто превышает стоимость поддерживаемого ею вычислительного оборудования.
Адаптация архитектура сети к требованиям плотности размещения устройств
Вычисления с высокой плотностью нагрузки требуют беспрецедентной пропускной способности сети. Каждому графическому процессору NVIDIA H100 для оптимальной производительности требуется 400 Гбит/с сетевого подключения. Серверу с 8 графическими процессорами требуется 3,2 Тбит/с суммарной пропускной способности – больше, чем потребляли многие центры обработки данных десять лет назад. Традиционные архитектуры коммутации верхнего уровня стойки с трудом справляются с этими требованиями.
Плотная компоновка сетей стимулирует внедрение дезагрегированных сетевых архитектур. Топологии типа «spine-leaf» обеспечивают стабильную задержку и пропускную способность независимо от характера трафика. Кремниевая фотоника позволяет создавать соединения со скоростью 800 Гбит/с и 1,6 Тбит/с, недоступные по медным кабелям. В сетях все чаще используются медные кабели прямого подключения (DAC) для соединений длиной менее 3 метров и активные оптические кабели (AOC) для более длинных участков, что оптимизирует как стоимость, так и энергопотребление.
Прокладка кабелей становится удивительно сложной задачей при экстремальной плотности размещения оборудования. Для стойки на 40 видеокарт требуется более 200 кабелей электропитания, сетевого подключения и управления. Каждый кабель выделяет тепло за счет электрического сопротивления. Неправильная прокладка кабелей ограничивает поток воздуха, создавая горячие точки, которые приводят к термическому дросселированию. Инженеры «Айсо-энерго» используют специализированные системы маршрутизации, которые обеспечивают правильные радиусы изгиба, одновременно максимизируя эффективность охлаждения.
Географические ограничения стратегии развертывания ЦОД
Сингапур лидер в мире по внедрению технологий высокой плотности размещения оборудования, имея новые комплексы, рассчитанные на 50-100 кВт. Дефицит земли стимулирует вертикальное расширение и максимальную вычислительную мощность на квадратный метр. Государственные льготы способствуют внедрению жидкостного охлаждения за счет снижения налогов и ускоренного получения разрешений.
Рынки Северной Европы используют преимущества холодного климата для естественного охлаждения. В центрах обработки данных Стокгольма для отвода тепла используется холодная вода моря, что позволяет достичь круглогодичного показателя PUE ниже 1,10. Норвежские объекты сочетают гидроэнергетику с естественным охлаждением для создания самой эффективной в мире инфраструктуры искусственного интеллекта.
Наличие воды все чаще определяет места размещения центров обработки данных. Системы жидкостного охлаждения потребляют. Объекту мощностью 10 МВт требуется до 500 м3/ч – этого достаточно, чтобы наполнять олимпийский бассейн каждые пять часов. В пустынных районах приходится делать невозможный выбор между неэффективностью воздушного охлаждения и нехваткой воды. Передовые организации теперь оценивают права на воду наряду с наличием электроэнергии при выборе мест для размещения центров обработки данных.
Экономические модели
Экономическая целесообразность инфраструктуры с экстремальной плотностью вычислений зависит от характеристик рабочей нагрузки. Непрерывные рабочие нагрузки по обучению ИИ в течение нескольких недель оправдывают любые инвестиции, повышающие эффективность. Повышение производительности на 1% в течение месячного цикла обучения экономит 7,2 часа вычислительного времени.
Сравнение капитальных затрат (CapEx) показывает преимущество традиционной инфраструктуры, но операционные затраты (OpEx) говорят об обратном. Жидкостное охлаждение снижает энергопотребление на 30-40% по сравнению с воздушным охлаждением. Внедрение системы мощностью 1 МВт позволяет сэкономить 40 000 000 млн рублей в год только на электроэнергии. Снижение механического износа продлевает срок службы оборудования на 20–30%, откладывая затраты на замену. Более высокая плотность размещения позволяет увеличить вычислительные мощности в существующих помещениях, избегая затрат на новое строительство, которые в среднем составляют 1 миллиард рублей за мегаватт.
Модели расчета общей стоимости владения (Total Cost of Ownership) должны учитывать альтернативные издержки. Организации, которые не могут развернуть инфраструктуру высокой плотности, теряют конкурентное преимущество перед теми, кто может. Обучение моделей GPT в OpenAI заняло бы в 10 раз больше времени без оптимизированной инфраструктуры. Разница между 40 кВт и 100 кВт на стойку определяет, будут ли модели обучаться в течение недель или месяцев. Лидерство на рынке все больше зависит от возможностей инфраструктуры, которые традиционные метрики не могут отразить.
Сложность операционных процессов требует новых экспертных знаний
Управление инфраструктурой с экстремальной плотностью требует навыков, которых нет у традиционных команд центров обработки данных. Системы жидкостного охлаждения требуют экспертных знаний в области сантехники, которые редко встречаются в ИТ-отделах. Технические специалисты должны понимать гидродинамику, перепады давления и химию охлаждающих жидкостей. Неправильная настройка одного параметра может привести к катастрофическому отказу – слишком высокое давление может разорвать соединения, а слишком низкое – вызвать кавитацию насоса.
Компания Айсо-энерго» восполняет пробел в знаниях, предоставляя специализированные программы обучения для своих инженеров, работающих на местах. Команды учатся диагностировать проблемы с циркуляцией охлаждающей жидкости, проводить профилактическое техническое обслуживание распределительных устройств системы охлаждения и реагировать на утечки. Программы сертификации охватывают требования производителей к различным технологиям охлаждения.
Системы мониторинга генерируют в 10–100 раз больше данных, чем традиционная инфраструктура. Каждая стойка генерирует тысячи телеметрических точек, охватывающих температуру, давление, расход, энергопотребление и состояние компонентов. Алгоритмы машинного обучения выявляют закономерности, позволяющие прогнозировать отказы до их возникновения.
Технологии будущего
Графические процессоры следующего поколения потребуют еще более экстремальной инфраструктуры. В дорожной карте NVIDIA предполагается потребление 1500-2000 Вт на один графический процессор к 2027 году. Серия MI400 от AMD нацелена на аналогичное энергопотребление. Процессоры Cerebras, работающие на кремниевых пластинах, уже потребляют 23 кВт в одном блоке. Инфраструктура будущего должна будет обеспечивать плотность размещения, которая сегодня кажется невозможной.
Двухфазное иммерсионное охлаждение становится идеальным решением для экстремально высокой плотности. Диэлектрические жидкости кипят при точно контролируемых температурах, обеспечивая изотермическое охлаждение, которое поддерживает компоненты в оптимальных рабочих режимах. Фазовый переход из жидкости в пар поглощает огромное количество тепла – до 250 кВт на стойку.
Дальнейшие решения
Организации, создающие сегодня инфраструктуру для ИИ, сталкиваются с критически важными решениями, определяющими их конкурентоспособность на следующее десятилетие. Модернизация существующих объектов для размещения оборудования мощностью 40 кВт обходится в 5-15 млн рублей за стойку. Создание новой инфраструктуры мощностью 100 кВт стоит 20-40 млн рублей за стойку, но обеспечивает возможности для будущего роста. Неправильный выбор привязывает организации к устаревшей инфраструктуре как раз в тот момент, когда объемы рабочих нагрузок ИИ резко возрастают.
Успешные переходы начинаются с всесторонней оценки. Инженеры «Айсо-энерго» оценивают существующую мощность электропитания, инфраструктуру охлаждения, несущую конструкцию и сетевую архитектуру, чтобы обеспечить оптимальную производительность. Мы выявляем узкие места, ограничивающие увеличение плотности размещения оборудования, и разрабатываем поэтапные планы модернизации, минимизирующие сбои.
В сфере инфраструктуры ИИ победителями станут те, кто будет использовать высокую плотность размещения ресурсов, а не бороться с ней. Каждый месяц задержки означает, что конкуренты быстрее обучают модели, быстрее внедряют новые функции и первыми захватывают рынки. Вопрос не в том, следует ли внедрять инфраструктуру высокой плотности, а в том, насколько быстро организации смогут преобразовать свои ресурсы для удовлетворения вычислительных потребностей, определяющих конкурентное преимущество в эпоху ИИ.