Дата-центры переходят на жидкостное охлаждение из-за роста энергопотребления кластеров ИИ

Материал корпоративного блога Western Digital от сентября 2024 года фиксирует фундаментальный сдвиг в архитектуре центров обработки данных, вызванный массовым внедрением искусственного интеллекта. Индустрия переходит от стандартных серверов к синхронным кластерам из сотен тысяч графических ускорителей, что требует пересмотра подходов к охлаждению, хранению данных и энергопотреблению. Для бизнеса ключевым фактором становится не только вычислительная мощность, но и способность инфраструктуры справляться с мгновенными скачками нагрузки и обеспечивать бесперебойную подачу данных к процессорам.

Масштабирование и синхронизация вычислений

Традиционная модель облачных вычислений, где задачи выполняются асинхронно, уступает место синхронным процессам, характерным для обучения нейросетей. В таких условиях задержка или отказ одного устройства из кластера в 100 000 единиц останавливает работу всей системы. Это создает жесткие требования к надежности и скорости восстановления состояния модели после сбоев.

• Рост кластеров: Компании, такие как Meta⋆, планируют развернуть портфолио из 350 000 графических ускорителей (GPU) к концу 2024 года. Эксперты прогнозируют появление кластеров на миллион устройств.
• Энергетические пики: Синхронная работа тысяч устройств вызывает резкие скачки энергопотребления в мегаваттах за считанные секунды, что превышает возможности современных систем стабилизации напряжения и требует адаптации энергосетей.
• Закон масштабирования: Эффективность моделей напрямую зависит от объема данных и вычислительных ресурсов. Увеличение сложности моделей происходит каждые 6–9 месяцев, что вынуждает бизнес постоянно наращивать мощности.

Трансформация аппаратного обеспечения

Замедление закона Мура делает экономически невыгодным использование универсальных процессоров для всех задач. Рынок движется в сторону специализированных чипов и модульной архитектуры. Крупные технологические компании (Alphabet, Amazon, Apple, Meta⋆, Microsoft, NVIDIA) разрабатывают собственные процессоры, оптимизированные под конкретные рабочие нагрузки ИИ.

• Технология чиплетов: Вместо создания единого сложного кристалла инженеры объединяют отдельные блоки (чиплеты) с разными техпроцессами. Это позволяет комбинировать компоненты ввода-вывода на зрелых технологических узлах с высокоскоростными CPU и GPU на передовых узлах, снижая стоимость и повышая гибкость.
• Разнообразие решений: На рынке появляются не только графические ускорители, но и тензорные процессоры (TPU), программируемые логические интегральные схемы (FPGA) и специализированные ускорители.
• Открытые стандарты: Для ускорения разработки и снижения рисков используется подход, аналогичный открытому программному обеспечению, позволяющий объединять усилия разных поставщиков решений.

Хранение данных и скорость передачи

Скорость обучения моделей ограничивается не мощностью процессоров, а скоростью подачи к ним данных. Если каналы передачи данных не справляются с потоком, дорогостоящие вычислительные ресурсы простаивают, что снижает возврат инвестиций.

• Дисбаланс мощностей: Современные твердотельные накопители (NVMe SSD) являются основным решением для быстрой передачи данных, однако их пропускная способность должна быть точно сбалансирована с количеством графических ускорителей.
• Демонстрация возможностей: Western Digital показала, как система с выделенным корпусом для накопителей (JBOF) обеспечивает стабильную скорость передачи 90 ГБ/с для двух графических ускорителей, что эквивалентно 6 ТБ данных в минуту. В ходе теста именно вычислительная мощность процессоров стала узким местом, а не скорость хранения.
• Динамический цикл данных: ИИ работает в непрерывном цикле: загрузка данных, обучение, вывод результатов и донастройка. Инфраструктура должна поддерживать все эти этапы без задержек.

Энергоэффективность и системы охлаждения

Рост энергопотребления центров обработки данных становится одним из главных вызовов для отрасли. Традиционное воздушное охлаждение достигает своих физических пределов и не справляется с тепловыделением современных чипов.

• Переход на жидкостное охлаждение: Индустрия переходит к системам жидкостного охлаждения непосредственно на чипе. Google уже развернул около 1 ГВт мощностей с таким типом охлаждения, что в 70 раз превышает показатели других флотилий.
• Сложность модернизации: Внедрение жидкостного охлаждения требует полной перестройки инфраструктуры дата-центра, включая стойки и кабельные системы, так как оно несовместимо с традиционными воздушными решениями.
• Эффективность алгоритмов: Наряду с улучшением «железа», компании разрабатывают новые алгоритмы и архитектуры, снижающие потребность в вычислениях. Малые языковые модели (SLM) показывают результаты, сопоставимые с гигантскими моделями, но потребляют значительно меньше энергии и могут работать на локальных устройствах.

Сигнал для рынка и экономические последствия

Глобальный тренд на перестройку инфраструктуры ИИ создает новые экономические реалии. Инвестиции в дата-центры растут, достигая триллионов долларов, однако быстрое устаревание технологий создает риски для финансового планирования.

• Риск устаревания: Скорость развития технологий такова, что дата-центр может стать морально устаревшим еще до завершения строительства. Бизнесу необходимо закладывать в проекты большую гибкость и запас мощностей.
• Стоимость владения: Внедрение жидкостного охлаждения и специализированных чипов увеличивает капитальные затраты, но является необходимым условием для работы современных ИИ-моделей.
• Влияние на РФ: Для российских компаний, развивающих собственные ИИ-решения, этот тренд означает необходимость поиска альтернативных поставщиков оборудования и пересмотра архитектуры собственных дата-центров с учетом новых требований к охлаждению и энергоэффективности. Опыт глобального рынка показывает, что фокус смещается с простого накопления мощностей на оптимизацию энергопотребления и скорости передачи данных.

Для снижения рисков и повышения эффективности бизнеса ключевым становится переход от универсальных решений к специализированным архитектурам, способным адаптироваться к быстро меняющимся требованиям ИИ-нагрузок.