Nemotron Elastic

Nemotron Elastic обеспечил создание компактной модели Nemotron 3 Nano 4B через автоматическое сжатие архитектуры

Фреймворк Nemotron Elastic выступил ключевым инструментом при трансформации более крупной модели Nemotron Nano 9B v2 в компактную версию с 4 миллиардами параметров. Система автоматически проанализировала структуру нейросети, определив избыточные элементы и сохранив критически важные компоненты для поддержания логики и навыков. В результате работы алгоритма были сокращены глубина сети, количество голов Mamba и размерность эмбеддингов, что позволило запустить модель на портативных устройствах с минимальным потреблением памяти.

Событие: Nemotron Elastic выполнил автоматическое сжатие модели, сократив глубину сети с 56 до 42 слоев и уменьшив количество голов Mamba с 128 до 96.

Эффект: Благодаря работе фреймворка модель получила возможность запускаться на устройствах Jetson Orin Nano со скоростью генерации 18 токенов в секунду, что в 2 раза быстрее исходной версии.

Фактор: Автоматический выбор Nemotron Elastic критически важных слоев для сохранения в формате BF16 при квантовании остальной сети в FP8 позволил избежать критической потери качества.

Инсайт: Использование Nemotron Elastic позволило получить компактную модель за малую долю стоимости по сравнению с обучением с нуля, сохранив при этом логику предка.

Подробнее →