Количество данных, которое может быть сохранено

Пропускная способность памяти стала критическим ограничителем производительности ИИ-систем

Анализ инфраструктуры искусственного интеллекта выявил, что скорость обработки данных ускорителями больше не зависит исключительно от мощности GPU, а определяется темпами подачи информации из оперативной памяти. Текущий разрыв между растущими вычислительными возможностями и медленным развитием каналов передачи данных приводит к тому, что дорогостоящее оборудование простаивает в ожидании загрузки. Это смещает фокус индустрии с продажи отдельных чипов на проектирование целостных архитектур доставки информации.

Исследование: Ученые UC Berkeley, ICSI и LBNL зафиксировали в работе «AI and Memory Wall» отставание развития памяти: за 20 лет производительность серверного оборудования выросла втрое каждые два года, тогда как пропускная способность DRAM увеличилась лишь в 1,6 раза.

Событие: Консорциум MLCommons выделил отдельный бенчмарк MLPerf Storage для оценки производительности хранилищ, так как медленная запись чекпоинтов при обучении моделей замедляет работу всего кластера.

Фактор: Рост нагрузки на инфраструктуру, где через ChatGPT проходит 18 млрд сообщений в неделю, а приложение Gemini превысило 1 млрд ежемесячных активных пользователей, делает скорость сборки контекста из накопителей ключевым параметром отклика системы.

Тренд: Конкуренция в сфере ИИ-инфраструктуры смещается с уровня отдельных компонентов на уровень целостной архитектуры, требуя глубокой интеграции решений производителей полупроводников, серверов и сетевого оборудования для оптимизации маршрутов данных.

Подробнее →