GLM-5.3

GLM-5.3 становится технически доступным для локального запуска на компактных системах NVIDIA DGX Spark

Модель GLM-5.3, принадлежащая к архитектуре Mixture-of-Experts (MoE), теперь может быть эффективно развёрнута в домашних условиях или небольших офисах без необходимости аренды облачных мощностей. Благодаря объединению нескольких устройств DGX Spark в кластер с общей ёмкостью памяти до 512 ГБ, модель помещается в локальную инфраструктуру, которая ранее была недоступна для таких крупных нейросетей. Архитектура MoE компенсирует ограниченную пропускную способность шины памяти отдельных устройств, обеспечивая скорость генерации от 40 до 95 токенов в секунду при использовании спекулятивного декодирования.

Событие: NVIDIA подтвердила возможность запуска модели GLM-5.3 на связке из четырёх устройств DGX Spark, суммарная память которых составляет 512 ГБ.

Фактор: Архитектура Mixture-of-Experts (MoE), используемая в GLM-5.3, активирует лишь часть параметров при генерации токена, что критически важно для работы на устройствах с ограниченной пропускной способностью памяти (273 ГБ/с).

Эффект: Локальный запуск модели позволяет достичь скорости 40–95 токенов в секунду, что сопоставимо с показателями облачных сервисов уровня GPT-6-Astra, при этом снижая операционные расходы на электроэнергию более чем в три раза по сравнению с серверами на дискретных GPU.

Подробнее →