NVIDIA ускорил научные вычисления в 14 900 раз: отбрасываемые данные теперь анализируются в реальном времени
Обработка петабайтов данных ускорилась в 14 900 раз, превращая задачи, занимавшие дни, в процессы реального времени. Лаборатории вынуждены пересматривать стратегии хранения информации, так как теперь экономически выгодно анализировать 99% данных, которые ранее безвозвратно отбрасывались.
NVIDIA представила на конференции ISC в Гамбурге новый набор программных решений для ускорения научных исследований с помощью искусственного интеллекта. Инструменты cuPhoton, DAQIRI и микросервисы ALCHEMI NIM переводят задачи, которые раньше занимали часы или дни на процессорах, в режим реального времени на графических ускорителях. На примере обработки данных с обсерватории Rubin ускорение загрузки изображений составило 14 900 раз, а анализ сигналов — до 8 400 раз. Эти технологии позволяют ученым быстрее обрабатывать петабайты данных в астрофизике, химии и материаловедении, сокращая время от эксперимента до результата.
Астрономия и физика высоких энергий
Новые инструменты решают проблему обработки огромных массивов данных, которые генерируют современные телескопы и ускорители частиц. Стандартные файловые форматы и сетевые протоколы часто не справляются с потоком информации, что приводит к потере данных или задержкам в анализе.
- cuPhoton: Референсный код для работы с многомерными данными из телескопов, рентгеновских установок и лазерных экспериментов. Он оптимизирует загрузку, чтение и визуализацию файлов формата FITS. В тестировании на системе NVIDIA GB200 NVL72 скорость обработки данных от обсерватории Rubin (проект LSST) выросла в 14 900 раз.
- DAQIRI: Библиотека для высокоскоростной передачи данных от детекторов в программное обеспечение. В отличие от старых систем, привязанных к фиксированному оборудованию, она обрабатывает поток данных по мере поступления, не допуская потерь.
- Проект A-GHOST: Разработан учеными из CERN, Чикагского университета и Университетского колледжа Лондона. Система использует DAQIRI для анализа данных столкновений частиц в эксперименте ATLAS в реальном времени. Это позволяет обрабатывать более 99% данных, которые ранее отбрасывались из-за нехватки места на дисках, и находить редкие физические сигналы.
Важный нюанс: Технологии позволяют анализировать данные, которые раньше физически невозможно было сохранить. Это меняет подход к сбору информации: теперь можно не отбрасывать «шум», а искать в нем редкие события.
Химия и открытие новых материалов
Платформа NVIDIA ALCHEMI предоставляет набор микросервисов и инструментов для ускорения поиска новых материалов и химических соединений. Это критически важно для разработки аккумуляторов, катализаторов, OLED-дисплеев и косметических средств.
- Микросервисы BGR и BMD: Позволяют моделировать миллионы молекул одновременно. BGR (Batched Geometry Relaxation) находит наиболее стабильные структуры, а BMD (Batched Molecular Dynamics) симулирует их движение во времени.
- Интеграция с VASP: Ожидается выпуск микросервиса для пакета Vienna Ab initio Simulation Package (VASP). Использование технологии Multi-Process Service позволяет запускать несколько расчетов на одном GPU, ускоряя оптимизацию геометрии в 3 раза.
- Случай Lila Sciences: Компания, разрабатывающая платформу научной суперинтеллектуальности, использовала ALCHEMI для скрининга материалов.
- Скорость высокопроизводительного скрининга выросла в 50 раз.
- Расчет магнитных свойств для отобранных кандидатов ускорился на 30%.
- Обучение и инференс моделей TensorNet стали в 6 раз быстрее, а потребление памяти снизилось в 3 раза.
- Задачи, занимавшие недели, теперь выполняются за дни.
Доступность и инфраструктура
Все представленные инструменты доступны для разработчиков и исследователей, но сроки их появления на рынке различаются.
- NVIDIA ALCHEMI Toolkit и Toolkit-Ops: Доступны для загрузки через GitHub и PyPI.
- ALCHEMI NIM микросервисы: Доступны в каталоге NVIDIA NGC.
- DAQIRI: Уже доступен на GitHub.
- cuPhoton и микросервис для VASP: Ожидается выход в этом сезоне (летом 2026 года).
Стоит учесть: Ускорение вычислений в десятки тысяч раз возможно только при наличии соответствующего оборудования, например, суперчипов NVIDIA Grace Blackwell. Без специализированной аппаратной части эффект будет значительно ниже.
Операционные последствия и скрытые риски
Внедрение этих технологий меняет экономику научных исследований, но требует пересмотра инфраструктуры.
- Зависимость от оборудования: Заявленные ускорения (в тысячи раз) достигаются на специфических конфигурациях, таких как GB200 NVL72 и чипах Grace Blackwell. Перенос этих результатов на стандартные серверы может дать меньший прирост производительности.
- Смена парадигмы сбора данных: Возможность обрабатывать 99% ранее отбрасываемых данных (как в проекте A-GHOST) требует пересмотра стратегий хранения и передачи информации. Ученые получат больше полезной информации, но нагрузка на каналы связи и системы хранения возрастет.
- Скорость итераций: Сокращение времени симуляции с недель до дней (как у Lila Sciences) позволяет проводить больше экспериментов в виртуальной среде перед синтезом реальных образцов. Это снижает стоимость неудачных попыток в лаборатории, но требует высокой квалификации для настройки ИИ-моделей.
- Доступность ПО: Часть инструментов (cuPhoton, VASP) находится в стадии раннего доступа или ожидается к лету. Компаниям и лабораториям стоит планировать интеграцию с учетом этих сроков, чтобы не пропустить волну внедрения.
На фоне этого: Переход от выборочного анализа к полной обработке потоков данных превращает вычислительную мощность в ключевой актив научного открытия, где скорость становится главным ограничивающим фактором, а не доступность оборудования.
Источник: blogs.nvidia.com