Архитектура памяти
Архитектура памяти в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
Архитектура памяти становится главным узким местом для ИИ-систем, ограничивая скорость инференса
SK hynix утверждает, что в эпоху реального использования моделей (инференса) и агентных систем критическим фактором является не мощность GPU, а архитектура передачи данных. Более половины времени вычислительных блоков тратится на ожидание поступления информации из памяти, что создает «стену памяти», которую невозможно преодолеть простым добавлением видеокарт. Для решения проблемы индустрия переходит от программных оптимизаций к физическому сближению памяти и процессора через технологии HBM, CXL и PIM, смещая фокус конкуренции на производителей высокопроизводительной памяти.
Событие: SK hynix официально заявила, что главным ограничителем скорости современных ИИ-систем стала архитектура передачи данных, а не вычислительная мощность графических процессоров.
Фактор: В сценариях генерации ответов токен за токеном с длинным контекстом объем данных в кэше KV может превышать размер самой модели (например, более 140 ГБ для модели на 70 млрд параметров), создавая высокую нагрузку на пропускную способность памяти.
Тренд: Индустрия ИИ-инфраструктуры смещает приоритеты с наращивания количества GPU на системную интеграцию, где ключевыми метриками становятся пропускная способность HBM и стандарты связи CXL для общего доступа к памяти.
Эффект: Программные методы оптимизации, такие как FlashAttention и квантизация, достигают предела эффективности, что делает необходимым физическое изменение архитектуры чипов для сокращения расстояния прохождения данных.
Прорыв в энергоэффективности для инференса ИИ
Инновационная архитектура памяти на основе near-memory computing в ускорителе AI250 обеспечивает десятикратное увеличение эффективной пропускной способности памяти. Это достижение сопровождается значительным снижением энергопотребления, что является ключевым преимуществом для задач инференса крупных моделей искусственного интеллекта. Данная архитектура позволяет Qualcomm предложить высокопроизводительное решение для центров обработки данных, делая ставку на энергоэффективность как на основу конкурентного преимущества.
В нашей базе собрано 2 события по теме «Архитектура памяти». Мы показываем все из них.
Объединили похожие карточки: Архитектура памяти; Организация памяти; Построение памяти и другие.