Архитектура MoE: запуск мощных ИИ на ноутбуках и отказ от облаков
Обучение мощных ИИ-моделей теперь стоит $260, а запуск 35-миллиардных систем возможен на обычных ноутбуках без дорогих видеокарт. Архитектура MoE превращает вычислительную мощность из дефицитного ресурса в доступную утилиту, но требует пересмотра подходов к балансировке нагрузки и тестированию кода. / Страница 3
Читать полностью
Календарь упоминаний. Страница 3:
DeepSeek V4 применяет квантование FP4 для весов экспертов в архитектуре MoE
Суть: Новая модель использует квантование с учетом обучения для весов экспертов в архитектуре Mixture-of-Experts, что позволяет вдвое сократить объем памяти для их хранения по сравнению с форматом FP8.
Эффект: Снижение требований к памяти критично для масштабных развертываний модели и делает ее экономически выгодной даже на существующем оборудовании без новейших ускорителей.
Фактор: Применение смешанной точности данных (комбинация FP8 и FP4) в связке с MoE является ключевым элементом оптимизации инфраструктуры для снижения нагрузки.
Улучшение точности и снижение зависимости от HBM за счёт Engram
Технология Engram, разработанная DeepSeek, позволяет ИИ-моделям эффективнее использовать системную память для хранения и извлечения информации, сокращая нагрузку на GPU и зависимость от высокопроизводительной памяти (HBM). В отличие от традиционных подходов, Engram сохраняет часто используемые данные в статической памяти, что ускоряет обработку длинных контекстов и повышает точность. В тестах модель с Engram показала на 3,4–5 пунктов лучшие результаты по сравнению с MoE в задачах на знания и логику. Эта методология может стать основой для будущих ИИ-моделей, снижая затраты и улучшая производительность.
Прорыв в масштабировании моделей MoE
Mixture of Experts (MoE) — архитектура, при которой только часть параметров активируется при обработке запроса, что повышает эффективность больших языковых моделей. NVIDIA преодолела технические барьеры масштабирования MoE с помощью подхода co-design, оптимизировав как архитектуру, так и программное обеспечение. Это позволило достичь десятикратного увеличения производительности на системе GB200 NVL72 по сравнению с предыдущим поколением. В результате модель MoE может поддерживать модели с 32 млрд активных параметров на один проход, что делает её всё более востребованной в различных применениях.
В нашей базе собрано 13 событий по теме «Экспертная смесь». Мы показываем все из них.
Объединили похожие карточки: Экспертная смесь; Expert Mixture Model; Mixture of Experts и другие.