CERN внедрил системы хранения с плотностью 2 ПБ в корпусе для обработки петабайтов в секунду

Опыт работы с Большим адронным коллайдером (LHC) в CERN демонстрирует пределы современных технологий хранения данных при обработке петабайтов информации в секунду. Для поддержки третьего этапа экспериментов (Run 3) исследователи внедрили специализированные системы JBOD от Western Digital, способные хранить более двух петабайт в одном корпусе. Этот кейс подтверждает, что стандартные решения уступают место инженерным доработкам, направленным на снижение вибраций и оптимизацию охлаждения в условиях максимальной плотности размещения дисков.

Технические решения для экстремальных нагрузок

Инфраструктура CERN обрабатывает данные, объем которых превышает возможности стандартных серверных ферм. При столкновении частиц детекторы генерируют один петабайт данных каждую секунду. Системы фильтрации в реальном времени отсеивают избыточную информацию, оставляя для архивации только критически важные данные. Текущий центр обработки данных CERN содержит более 10 000 серверов, 100 000 жестких дисков и почти 500 000 вычислительных ядер.

Основная сложность заключается в необходимости увеличения емкости и производительности без роста энергопотребления и затрат. Стандартные жесткие диски (HDD) при высокой нагрузке выделяют значительное количество тепла. Тесное расположение дисков в серверах вызывает вибрации, которые могут смещать считывающие головки на микронном уровне, снижая скорость передачи данных и приводя к перегреву.

Для решения этих задач CERN совместно с Western Digital протестировал новые платформы хранения Ultrastar. Ключевые особенности внедренного решения:

• Снижение вибраций: Конструкция корпусов уменьшает колебания от вращающихся дисков более чем на 60%, что сохраняет точность позиционирования головок.
• Оптимизация воздушных потоков: Улучшенная циркуляция воздуха позволяет дискам работать при более низких температурах, предотвращая снижение производительности из-за перегрева.
• Плотность хранения: Один корпус размером с журнальный столик вмещает до двух петабайт данных.

Экономическая эффективность и управление ресурсами

CERN финансируется из бюджетов 23 стран-участниц, что делает критически важным показатель эффективности хранения данных на каждый потраченный доллар. Использование флеш-накопителей (SSD) для таких объемов оказалось экономически нецелесообразным из-за высокой стоимости гигабайта. Выбор пал на оптимизированные жесткие диски, которые обеспечивают баланс между ценой, емкостью и скоростью.

Внедрение новых систем JBOD позволило CERN превысить порог в один экзабайт хранимых данных. Это решение удовлетворило строгие требования к надежности, энергопотреблению и пропускной способности, необходимые для обработки результатов экспериментов Run 3.

Глобальные тренды и перспективы для рынка

События в CERN отражают общемировой тренд на переход к экзабайтным центрам обработки данных, где традиционные методы охлаждения и компоновки оборудования достигают физических пределов. Опыт, полученный в ходе подготовки к этапу Run 4, который стартует в 2029 году, указывает на необходимость создания новых классов оборудования.

Эксперты отмечают, что для будущих задач существующие на рынке решения не смогут обеспечить требуемую скорость передачи и хранения данных. Это создает спрос на глубокую кастомизацию оборудования поставщиками и развитие специализированных решений для дата-центров.

Для бизнеса в сфере ИТ и инфраструктуры этот кейс служит сигналом о важности:

• Инвестиций в инженерные решения для снижения энергозатрат (PUE) и повышения плотности хранения.
• Развития партнерства с поставщиками оборудования для создания специализированных конфигураций под экстремальные нагрузки.
• Учета физических ограничений (тепло, вибрация) при проектировании масштабируемых систем хранения.

Планы по строительству нового дата-центра на французской стороне границы подтверждают, что масштабирование вычислительных мощностей требует не только закупки оборудования, но и пересмотра архитектурных подходов к размещению и обслуживанию инфраструктуры.