Nvidia Nemotron 3 Nano 4B: локальный ИИ без облака и с ускорением в два раза

Компания Nvidia представила модель Nemotron 3 Nano 4B, созданную специально для работы на устройствах с ограниченными ресурсами. Это решение использует гибридную архитектуру Mamba-Transformer, что позволяет сократить потребление памяти и ускорить ответы без потери точности. Модель содержит всего 4 миллиарда параметров и способна запускаться на портативных платформах Jetson, а также на графических процессорах RTX и DGX Spark.

Ключевой момент: Переход от обучения с нуля к технологии сжатия через «роутер» позволяет получить компактную модель за малую долю стоимости, сохраняя при этом логику и навыки более крупного предка.

Технические характеристики и архитектура

В основе Nemotron 3 Nano 4B лежит не классическое обучение, а процесс сжатия более крупной модели Nemotron Nano 9B v2. Для этого использован фреймворк Nemotron Elastic, который автоматически определяет, какие части нейросети можно убрать, а какие критически важны.

Система приняла следующие решения по оптимизации структуры:

• Глубина сети: Сокращена с 56 до 42 слоев (убраны избыточные слои Mamba, Attention и MLP).
• Головы Mamba: Уменьшено количество с 128 до 96.
• Размерность эмбеддингов: Сжата с 4480 до 3136.
• Промежуточные нейроны: Сокращены с 15680 до 12544.

После сжатия модель прошла двухэтапное восстановление точности. Сначала она обучалась на коротких контекстах (8K токенов), затем — на длинных (49K токенов), чтобы вернуть способность к сложным логическим цепочкам. Дополнительно проведены этапы дообучения с человеческим контролем и обучение с подкреплением для улучшения выполнения инструкций и работы с инструментами.

Важный нюанс: Сохранение слоев само-внимания и предшествующих им слоев Mamba в высоком разрешении (BF16) при квантовании остальной сети в FP8 позволило достичь баланса между скоростью и точностью, избежав критической потери качества.

Производительность и возможности развертывания

Модель демонстрирует рекордные показатели для своего класса по нескольким ключевым метрикам:

• Следование инструкциям: Лидер в классе моделей до 4 миллиардов параметров (бенчмарки IFBench, IFEval).
• Игровая агентность: Лучший результат в тактических играх (тесты на Super Mario, Darkest Dungeon, Stardew Valley).
• Эффективность памяти: Минимальное потребление видеопамяти (VRAM) как при коротких, так и при длинных контекстах.
• Задержка: Самая низкая задержка до первого токена (TTFT) при работе с длинными последовательностями.

Для работы на периферийных устройствах (edge) модель выпущена в двух форматах квантования:

1. FP8: Использует выборочное квантование, сохраняя критические слои в формате BF16. На платформах DGX Spark и Jetson Thor это дает ускорение в 1,8 раза по сравнению с оригинальной версией.
2. Q4_K_M (GGUF): 4-битное квантование для совместимости с движком Llama.cpp. На устройстве Jetson Orin Nano (8 ГБ памяти) скорость генерации достигает 18 токенов в секунду, что в 2 раза быстрее, чем у более крупной версии Nemotron Nano 9B v2.

Модель доступна для загрузки в репозиториях Hugging Face и поддерживает популярные движки: Transformers, vLLM, TRT-LLM и Llama.cpp.

Операционные последствия, тренды и практические аспекты

• Снижение порога входа: Возможность запускать сложные ИИ-агенты на бюджетных устройствах (Jetson Orin Nano) позволяет бизнесу внедрять локальную аналитику и чат-ботов без затрат на облачные серверы.
• Повышение конфиденциальности: Локальный запуск данных исключает их передачу в облако, что критично для задач, связанных с персональными или коммерческими секретами.
• Зависимость от аппаратного обеспечения: Высокая производительность достигается только при наличии специализированных ускорителей Nvidia (серии Jetson, RTX, DGX), что может ограничить развертывание на универсальном оборудовании других вендоров.
• Технологический сдвиг: Использование гибридной архитектуры Mamba-Transformer вместо чистых трансформеров становится стандартом для малых моделей, так как это позволяет снизить вычислительную сложность при сохранении качества.