Mamba-Transformer
Mamba-Transformer в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Упоминается вместе:
Календарь упоминаний:
Nvidia внедряет гибридную архитектуру Mamba-Transformer в компактную модель Nemotron 3 Nano 4B
Nvidia представила модель Nemotron 3 Nano 4B, где архитектура Mamba-Transformer выступает ключевым элементом, обеспечивающим снижение потребления памяти и ускорение генерации ответов на устройствах с ограниченными ресурсами. В процессе сжатия более крупной модели были оптимизированы параметры именно блоков Mamba, при этом критические слои этой архитектуры сохранены в высоком разрешении для баланса скорости и точности. Благодаря такому подходу модель демонстрирует рекордную эффективность на периферийных устройствах, устанавливая новый стандарт для локальных ИИ-агентов.
Событие: Nvidia выпустила модель Nemotron 3 Nano 4B с гибридной архитектурой Mamba-Transformer, сократив количество голов Mamba с 128 до 96 и убрав избыточные слои.
Эффект: Сохранение слоев Mamba в формате BF16 при квантовании остальной сети в FP8 позволило достичь ускорения в 1,8 раза на платформах DGX Spark и Jetson Thor без критической потери качества.
Тренд: Использование гибридной архитектуры Mamba-Transformer вместо чистых трансформеров становится стандартом для малых моделей, позволяя снижать вычислительную сложность при сохранении качества.
Фактор: Оптимизация структуры Mamba-Transformer обеспечивает минимальное потребление видеопамяти и самую низкую задержку до первого токена при работе с длинными последовательностями.
Гибридная архитектура Mamba-Transformer обеспечила пятикратный рост пропускной способности модели Nemotron 3 Super
Суть: Архитектура объединяет слои Mamba для эффективной обработки последовательностей и слои Transformer для точности логических выводов.
Эффект: Сочетание технологий позволило увеличить пропускную способность модели в 5 раз по сравнению с предыдущей версией Nemotron Super.
Фактор: Наличие нативного контекстного окна в 1 миллион токенов обеспечивает агентам долгосрочную память и высокую точность рассуждений.
В нашей базе собрано 2 события по теме «Mamba-Transformer». Мы показываем все из них.