UC Berkeley

UC Berkeley зафиксировала критическое отставание пропускной способности памяти от роста вычислительной мощности ИИ

В исследовании «AI and Memory Wall», проведенном совместно с ICSI и LBNL, ученые установили, что узким местом для систем искусственного интеллекта стала не скорость GPU, а инфраструктура передачи данных. За два десятилетия производительность серверного оборудования в FLOPS росла примерно в три раза каждые два года, тогда как пропускная способность оперативной памяти DRAM увеличилась лишь в 1,6 раза, а каналов связи между компонентами — в 1,4 раза. Это приводит к тому, что дорогие ускорители простаивают, ожидая поступления информации из памяти или сети, что снижает общую эффективность ИИ-систем.

Исследование: Работа «AI and Memory Wall» подтвердила, что за последние 20 лет пиковая производительность серверного оборудования выросла в три раза каждые два года, при этом пропускная способность DRAM увеличилась только в 1,6 раза.

Фактор: Разрыв в темпах развития вычислительных ядер и подсистем памяти создает структурные «узкие места», из-за которых ускорители не могут работать на полную мощность.

Подробнее →