DeepSeek представил Engram — новую методологию для оптимизации памяти в ИИ

DeepSeek представил новую методологию для работы с контекстом в ИИ

По данным Tomshardware, компания DeepSeek опубликовала техническую статью, в которой описывает новую методологию, позволяющую ИИ-моделям эффективнее использовать системную память для хранения и извлечения информации. Названная Engram, эта технология основана на использовании условной памяти, что позволяет снизить нагрузку на вычисления и повысить производительность при обработке длинных контекстов.

В отличие от традиционных подходов, где модель должна каждый раз вычислять ответ, Engram позволяет сохранять часто используемую информацию в статической памяти. Это освобождает GPU от необходимости выполнять дорогостоящие вычисления для каждого запроса, что особенно важно в условиях дефицита высокопроизводительной памяти (HBM).

Engram работает с N-граммами — последовательностями слов, которые встраиваются в нейронную сеть и сохраняются в отдельной базе данных. Это позволяет модели запрашивать информацию напрямую, без необходимости её пересчитывать. Такой подход особенно полезен для задач, требующих долгого контекста, где классические модели могут терять точность.

Снижение зависимости от HBM и оптимизация использования памяти

В текущем состоянии, большинство ИИ-ускорителей всё ещё полагается на HBM, которая отличается высокой пропускной способностью, но и высокой стоимостью. Компании, такие как Huawei, не могут избежать этой зависимости, особенно с ростом спроса на такие ресурсы.

Engram предлагает альтернативу, позволяя использовать более доступные стандарты памяти, такие как CXL. Это снижает нагрузку на HBM, позволяя ей быть резервированной только для сложных вычислений. Таким образом, Engram может стать важным инструментом для оптимизации работы с памятью в крупных ИИ-моделях.

Сравнение с KVCache и особенности внедрения

В отличие от KVCache, который используется, например, в решениях Nvidia, и сохраняет контекст в краткосрочной памяти, Engram предлагает более стабильное и долгосрочное хранение информации. Если KVCache похож на запись заметок, то Engram — это как хранение целой энциклопедии.

Для внедрения Engram в модель используются хэширование и гейтинг. Хэширование позволяет сжимать токены и уменьшать объём словаря, а гейтинг — убеждаться, что контекст соответствует запросу. Такой подход обеспечивает точность и предотвращает ошибки при извлечении данных.

Результаты тестирования и перспективы

DeepSeek протестировала Engram на модели с 27 миллиардами параметров и сравнила её с традиционной моделью Mixture of Experts (MoE). В задачах, требующих знаний, Engram показала на 3,4–4 пункта лучшие результаты, а в задачах на логику — на 3,7–5 пунктов. Особенно высокая точность была достигнута в тесте NIAH (Needle in a Haystack), где Engram достигла 97% против 84,2% у модели MoE.

Эксперты отмечают, что если Engram будет внедрена в коммерческие модели, это может значительно снизить зависимость от HBM и улучшить производительность ИИ-систем. DeepSeek уже рассматривает возможность внедрения Engram в следующую версию своей модели — Deepseek V4.

Возможные последствия для отрасли

Если метод Engram докажет свою эффективность в реальных условиях, он может стать важным шагом в развитии ИИ. Он позволяет использовать системную память более эффективно и снижает зависимость от дорогостоящих решений. Это особенно важно для российских и глобальных компаний, которые ищут способы оптимизации затрат и повышения производительности ИИ-систем.

Интересно DeepSeek оценивает, что Engram может стать базовой технологией для будущих разреженных моделей. Внедрение этой методологии может изменить подход к архитектуре ИИ-моделей, особенно в условиях роста потребности в обработке длинных контекстов.

Как Engram меняет парадигму ИИ: от вычислений к хранению

Новая методология Engram, представленная DeepSeek, не просто улучшает производительность ИИ-моделей — она ставит под сомнение устоявшиеся подходы к архитектуре ИИ. Вместо того чтобы полагаться исключительно на вычисления, Engram предлагает использовать системную память для хранения и извлечения информации, что снижает зависимость от дорогой HBM и открывает путь к более экономичным и масштабируемым решениям.

От вычисления к хранению: новый подход к ИИ

Традиционно ИИ-модели пересчитывают ответ при каждом запросе, что требует значительных вычислительных ресурсов. Это делает такие системы зависимыми от дорогостоящей памяти, такой как HBM, и ограничивает их масштабируемость. Engram предлагает альтернативу: вместо пересчёта, модель обращается к статически сохранённой информации, как к внутренней базе знаний. Это снижает нагрузку на GPU и позволяет использовать более доступные виды памяти, такие как CXL [!].

Такой подход особенно актуален в условиях дефицита HBM, который остро ощущается в 2026 году. Производители, такие как Samsung и SK hynix, перераспределяют мощности в пользу HBM4, но сроки выхода этой памяти в серийное производство сдвинулись [!]. Это создаёт напряжённость на рынке и вынуждает компании искать альтернативы. Engram может стать таким решением, позволяя снизить зависимость от HBM и оптимизировать использование памяти [!].

i

Создано специально для ASECTOR

Концептуальное изображение

Стратегический сдвиг для глобальных игроков

Для компаний, сталкивающихся с ограничениями в доступе к западным технологиям, Engram — это стратегический выход из технологической зависимости. Например, Huawei, которая активно развивает собственные ИИ-решения, может использовать Engram для оптимизации своих моделей и повышения их конкурентоспособности. В 2026 году ожидается выход обновлённой версии DeepSeek R2, что может усилить позиции компании на глобальном рынке [!].

С другой стороны, производители HBM, такие как Samsung и SK hynix, могут столкнуться с падением спроса на свою продукцию. Это может снизить их рыночную долю и вынудить искать альтернативные направления развития. В свою очередь, глобальные инвесторы уже пересматривают стратегии вложений, увеличивая внимание к китайскому рынку, где DeepSeek выделяется как один из новых лидеров [!].

Технические сложности и возможности

Хотя Engram выглядит обещающе, её внедрение не лишено сложностей. Хранение информации в отдельной базе данных требует тщательного управления: необходимо обеспечить точность извлечения, избежать ошибок и поддерживать актуальность данных. Это похоже на то, как библиотека должна постоянно обновлять свои каталоги и обеспечивать доступ к нужным книгам. Если система не будет правильно «запоминать» и «вспоминать», это может привести к снижению качества ответов.

Кроме того, внедрение Engram требует изменения подхода к проектированию моделей. Разработчики должны не просто создать новую архитектуру, но и обучить модель эффективно использовать внешнюю память. Это может потребовать дополнительных усилий на этапе обучения и тонкой настройки параметров.

Долгосрочные последствия

Если Engram докажет свою эффективность в реальных условиях, она может стать частью следующего поколения ИИ-моделей. Это особенно важно для задач, требующих обработки длинных контекстов, где классические модели теряют точность. Такой подход может изменить не только технические аспекты, но и бизнес-модели: компании смогут создавать более производительные ИИ-системы с меньшими затратами на оборудование.

Для российских игроков, столкнувшихся с ограничениями в доступе к западным технологиям, Engram может стать важным инструментом для оптимизации ИИ-инфраструктуры. Это открывает путь к созданию более автономных и экономически эффективных решений, что особенно ценно в условиях текущих вызовов.

Контекст: глобальные тренды и вызовы

Engram — это не просто техническое улучшение. Это часть более широкой тенденции, которая наблюдается в отрасли: переход от увеличения мощности вычислений к умению эффективно использовать память. Это меняет парадигму и открывает новые возможности для оптимизации моделей.

В 2025 году DeepSeek представила модель R1, которая показала, что новые лаборатории могут выпускать конкурентоспособные продукты за гораздо меньшие деньги. Это вызвало сомнения в необходимости миллиардных вложений для создания следующего поколения искусственного интеллекта [!]. В 2026 году компания продолжает развивать этот подход, предлагая решения, которые могут быть внедрены с меньшими затратами и с высокой производительностью.

Заключение

Engram демонстрирует, что будущее ИИ может лежать не только в увеличении мощности вычислений, но и в умении эффективно использовать память. Это меняет парадигму и открывает новые возможности для оптимизации моделей. Для глобальных игроков, включая Huawei и DeepSeek, это может стать стратегическим преимуществом. Для российского бизнеса — это шанс создать более автономные и экономически эффективные решения.