Экспертная смесь
Экспертная смесь в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
DeepSeek V4 применяет квантование FP4 для весов экспертов в архитектуре MoE
Суть: Новая модель использует квантование с учетом обучения для весов экспертов в архитектуре Mixture-of-Experts, что позволяет вдвое сократить объем памяти для их хранения по сравнению с форматом FP8.
Эффект: Снижение требований к памяти критично для масштабных развертываний модели и делает ее экономически выгодной даже на существующем оборудовании без новейших ускорителей.
Фактор: Применение смешанной точности данных (комбинация FP8 и FP4) в связке с MoE является ключевым элементом оптимизации инфраструктуры для снижения нагрузки.
Улучшение точности и снижение зависимости от HBM за счёт Engram
Технология Engram, разработанная DeepSeek, позволяет ИИ-моделям эффективнее использовать системную память для хранения и извлечения информации, сокращая нагрузку на GPU и зависимость от высокопроизводительной памяти (HBM). В отличие от традиционных подходов, Engram сохраняет часто используемые данные в статической памяти, что ускоряет обработку длинных контекстов и повышает точность. В тестах модель с Engram показала на 3,4–5 пунктов лучшие результаты по сравнению с MoE в задачах на знания и логику. Эта методология может стать основой для будущих ИИ-моделей, снижая затраты и улучшая производительность.
Прорыв в масштабировании моделей MoE
Mixture of Experts (MoE) — архитектура, при которой только часть параметров активируется при обработке запроса, что повышает эффективность больших языковых моделей. NVIDIA преодолела технические барьеры масштабирования MoE с помощью подхода co-design, оптимизировав как архитектуру, так и программное обеспечение. Это позволило достичь десятикратного увеличения производительности на системе GB200 NVL72 по сравнению с предыдущим поколением. В результате модель MoE может поддерживать модели с 32 млрд активных параметров на один проход, что делает её всё более востребованной в различных применениях.
Экспертная смесь имеет 3 записи событий в нашей базе. Объединили похожие карточки: Экспертная смесь; Expert Mixture Model; Mixture of Experts и другие.