Mamba-MoE

Mamba-MoE обеспечивает высокую эффективность и снижение аппаратных требований

Гибридная архитектура Mamba-MoE в модели Nemotron 3 Super сочетает слои Mamba для линейного чтения данных и фильтрации шума с механизмом Latent MoE, активирующим четырех экспертов за стоимость одного. Это решение повышает эффективность памяти и вычислений в 4 раза, ускоряет вывод в 3 раза и позволяет активировать лишь 12 миллиардов параметров из 120 миллиардов при обработке запроса. Благодаря таким особенностям мощные агентные системы могут запускаться на одном графическом ускорителе, что снижает требования к оборудованию и затраты на развертывание.

Подробнее →