NVIDIA DGX Spark получил мощное обновление: производительность выросла в 2.5 раза

По данным The Register, компания NVIDIA представила обновление программного обеспечения для своего компактного ИИ-устройства DGX Spark, что позволило увеличить производительность системы в среднем в 2.5 раза. Обновление было анонсировано на выставке CES. В рамках апдейта устройство получило доступ к полному набору приложений AI Enterprise, а также интеграции с RTX Remix и платформой Hugging Face's Reachy для робототехники.

DGX Spark, который впервые был представлен в октябре 2024 года под кодовым названием Project Digits, позиционируется как компактный рабочий станок для быстрого прототипирования, разработки программного обеспечения с ускорением графического процессора и локальной обработки ИИ. Несмотря на прозвище «самый маленький суперкомпьютер для ИИ», вычислительная мощность устройства эквивалентна GPU RTX 5070. Однако, ключевое отличие от других продуктов NVIDIA — объём объединённой памяти в 128 ГБ, полностью доступной для GPU. Это делает DGX Spark одним из самых ёмких решений среди рабочих станций NVIDIA, уступая только DGX Station.

Несмотря на улучшение производительности, рост скорости генерации токенов в задачах инференса ограничен пропускной способностью. Поэтому основные улучшения касаются вычислительно сложных этапов, таких как prefill — время между подачей запроса и началом генерации ответа. В обновлении были улучшены такие компоненты, как TensorRT LLM, Llama.cpp и PyTorch, что положительно скажется на задачах, требующих высокой вычислительной нагрузки, таких как fine-tuning и генерация изображений или видео.

Поддержка AI Enterprise

В рамках апдейта NVIDIA объявляет о планах сделать полный набор AI Enterprise доступным для DGX Spark в виде подписки. Набор включает в себя приложения, фреймворки, модели и микросервисы, которые ускоряют разработку ИИ-продуктов. В настоящее время стоимость подписки составляет $4 500 в год на GPU или $1 в час в облаке. Хотя точные условия для Spark пока не раскрыты, компания подтверждает, что будет предлагать специальные тарифы. При этом, для использования решений в промышленных целях потребуется оплачиваемый план.

Вопросы долгосрочной поддержки

С самого запуска DGX Spark в октябре 2024 года, пользователи выражали обеспокоенность по поводу обновления программного обеспечения. Устройство построено на DGX OS, основанной на Ubuntu, и ранее были случаи, когда подобные платформы, такие как Jetson Nano, оставались на устаревших версиях ОС. В ответ на эти опасения, представитель NVIDIA, Эллен Бургоин, подтвердил, что компания готова обновлять DGX OS, включая последний выпуск с обновлением ядра и патчами безопасности.

Однако, официальная поддержка сторонних дистрибутивов Linux, таких как Red Hat Enterprise Linux, пока не планируется. На данном этапе NVIDIA фокусируется на развитии собственной ОС. Тем не менее, компания может в будущем выпустить драйверы и прошивки, необходимые для запуска GPU на других дистрибутивах.

Расширение возможностей

В дополнение к программным обновлениям, NVIDIA анонсировала выпуск версии Nsight CUDA code assistant, которая будет работать полностью локально на DGX Spark. Ранее модели, используемые в этом ассистенте, были слишком большими для потребительских GPU и требовали облачных ресурсов. Теперь локальное выполнение может повысить привлекательность решения для компаний, заинтересованных в конфиденциальности данных.

Для геймеров и разработчиков модов, NVIDIA расширяет поддержку RTX Remix на DGX Spark. Это позволяет переносить задачи, такие как генерация текста, на устройство. В робототехнике NVIDIA работает над новым руководством по интеграции Spark с роботом Reachy от Hugging Face, что может способствовать развитию решений с embodied AI.

Кластеризация

Помимо программных обновлений, NVIDIA рассматривает возможность расширения поддержки кластеров DGX Spark, включающих более двух систем. Одной из ключевых особенностей устройства является встроенный ConnectX-7 NIC с двумя портами QSFP+, обеспечивающими пропускную способность до 200 Гбит/с между устройствами. Это открывает возможности для масштабирования вычислительных мощностей в локальной среде.

Интересно: Как обеспечить долгосрочную производительность и актуальность компактных ИИ-решений, таких как DGX Spark, при отсутствии официальной поддержки сторонних операционных систем?

i

Создано специально для ASECTOR

Концептуальное изображение

Как DGX Spark меняет подход к локальной обработке ИИ: стратегия, риски и перспективы

NVIDIA продолжает расширять возможности локальной обработки ИИ, и её компактный суперкомпьютер DGX Spark стал не только инструментом для разработчиков, а частью более масштабной стратегии — упростить доступ к ИИ, сохранив контроль над экосистемой. Устройство, объединяющее 128 ГБ памяти и архитектуру Blackwell, позиционируется как альтернатива серверным решениям, где объём данных важнее скорости. Однако, чтобы оценить, насколько DGX Spark действительно может стать ключевым элементом ИИ-инфраструктуры, важно взглянуть на текущую ситуацию в цепочке поставок, а также на долгосрочные риски, связанные с экосистемой и поддержкой.

Рост спроса на HBM и его влияние на доступность

DGX Spark использует объединённую память, но её производство требует ресурсов, которые сейчас перераспределяются в пользу более специализированной памяти HBM (High Bandwidth Memory). Это связано с тем, что NVIDIA и AMD остаются основными заказчиками HBM, что привело к сокращению выпуска традиционной памяти, включая DDR5 [!]. В свою очередь, это вызывает дефицит компонентов, влияет на стоимость и доступность даже для потребительских устройств. Например, производители ПК, такие как Dell и Lenovo, уже пересматривают конфигурации и цены своих продуктов [!]. Таким образом, хотя DGX Spark позиционируется как компактное решение, его производство и доступность напрямую зависят от глобальных трендов в производстве памяти, что может ограничивать масштаб его внедрения.

Зависимость от TSMC и узкие места в производстве

NVIDIA зависит от TSMC для производства чипов, включая GPU Blackwell, которые используются в DGX Spark. Рост спроса на узлы 4нм и 3нм привёл к дефициту мощностей, и альтернативы вроде Intel Foundry и Samsung пока не готовы к внешним заказам [!]. Это делает NVIDIA зависимой от одного производителя, что может создавать риски при изменении условий поставок или увеличении стоимости. В условиях, когда стоимость одного чипа может составлять значительную долю от стоимости устройства, любые колебания в цепочке поставок могут повлиять на доступность DGX Spark для российского бизнеса.

Экосистема и долгосрочная поддержка

Одним из ключевых факторов успеха DGX Spark является интеграция с экосистемой NVIDIA. Полный доступ к AI Enterprise, а также поддержка Hugging Face и RTX Remix, делает устройство удобным для разработчиков [!]. Однако, как показывает история с Jetson Nano, отсутствие официальной поддержки сторонних ОС может стать барьером для долгосрочного использования. NVIDIA подтверждает, что будет обновлять DGX OS, но поддержка таких дистрибутивов, как Red Hat Enterprise Linux, пока не планируется. Это создаёт зависимость от экосистемы NVIDIA и ограничивает гибкость, особенно для компаний, стремящихся к интеграции с существующими решениями [!].

Масштабирование и кластеризация

Одной из ключевых особенностей DGX Spark является возможность кластеризации. Встроенный ConnectX-7 NIC с пропускной способностью до 200 Гбит/с позволяет объединять несколько устройств, что открывает путь к локальным вычислениям на уровне, близком к серверным системам. Это особенно важно для компаний, которые хотят минимизировать зависимость от облачных провайдеров и обеспечить конфиденциальность данных. Однако, для масштабирования потребуются не только технические решения, но и программные оптимизации, такие как разделение этапов prefill и decode, которые уже используются в более крупных серверах, например, GB200 NVL72 [!].

Интеграция с открытыми решениями

NVIDIA активно расширяет интеграцию с открытыми платформами, такими как Hugging Face, где доступны модели от Alibaba, DeepSeek и Apertus [!] [!] [!]. Это позволяет разработчикам использовать DGX Spark для запуска и адаптации моделей, обученных на разных данных и архитектурах. Однако, открытые модели не заменяют закрытые решения, и для достижения максимальной производительности часто требуется оплачиваемая подписка на AI Enterprise. Это может ограничивать доступность для небольших компаний или стартапов, где бюджет на ИИ-инфраструктуру ограничен.

Энергетические и инфраструктурные барьеры

Рост спроса на ИИ-инфраструктуру сталкивается с проблемами энергетического характера. Эксперты отмечают, что недостаток мощности электросетей и отсутствие готовности локальных цепочек поставок технологий охлаждения ограничивают развитие [!]. DGX Spark, несмотря на свою компактность, всё равно потребляет значительные ресурсы, и для его эффективного использования в масштабе требуются дорогостоящие решения по охлаждению и энергоснабжению. Это может стать барьером для внедрения в регионах, где инфраструктура не соответствует требованиям.

Перспективы и выводы

DGX Spark — это не только улучшенный компьютер, а часть более масштабной стратегии NVIDIA по упрощению доступа к ИИ, сохраняя контроль над экосистемой. Устройство демонстрирует высокую производительность в задачах, где объём памяти важнее скорости, и открывает путь к локальной обработке данных. Однако, его успех зависит от решения ряда ключевых вопросов:

• Долгосрочная поддержка и обновления программного обеспечения;
• Доступность компонентов, включая память HBM и чипы TSMC;
• Интеграция с открытыми решениями и сторонними ОС;
• Энергетическая и инфраструктурная готовность для масштабирования.

Для российского бизнеса, где локализация ИИ-решений становится всё более важной, DGX Spark может стать альтернативой импортозамещению. Однако, без официальной поддержки и адаптации под локальные условия, его потенциал будет ограничен.