Архитектура смесей экспертов

Эффективная работа на локальном оборудовании за счет частичной активации параметров

Архитектура смеси экспертов в модели DiffusionGemma обеспечивает оптимизацию вычислений, позволяя активировать лишь 3,8 миллиарда параметров из общих 26 миллиардов. Это сокращение требований к ресурсам размещает систему в 18 ГБ оперативной памяти графического ускорителя и переносит узкое место работы с пропускной способности памяти на вычислительную мощность процессора. В результате модель достигает скорости генерации до 1000 токенов в секунду на ускорителях Nvidia H100, что в четыре раза быстрее аналогичных авто регрессивных решений.

Подробнее →