NVIDIA преодолела барьеры масштабирования моделей MoE

По данным Wccftech, NVIDIA добилась значительного прорыва в масштабировании моделей Mixture of Experts

Новость, связанная с архитектурой «Mixture of Experts» (MoE), стала ключевым событием на рынке искусственного интеллекта. Эта модель, которая позволяет активировать лишь часть параметров при обработке запроса, стала центральной для повышения эффективности больших языковых моделей. Однако её масштабирование сталкивается с серьёзными техническими барьерами. NVIDIA, по данным Wccftech, смогла преодолеть эти ограничения с помощью подхода co-design, включающего в себя оптимизацию как архитектуры, так и программного обеспечения.

Технические улучшения архитектуры Blackwell

Сервер GB200 NVL72, построенный на архитектуре Blackwell, демонстрирует в 10 раз более высокую производительность по сравнению с предыдущей системой Hopper HGX 200. Это стало возможным благодаря использованию 72 чипов, объединённых в кластер, и 30 ТБ быстрой общей памяти. Такая конфигурация позволила достичь нового уровня, при котором обработка токенов распределяется по нескольким GPU, а объём передачи данных увеличивается нелинейно.

Оптимизация на уровне программного обеспечения

Одним из ключевых элементов успеха стал NVIDIA Dynamo, фреймворк, позволяющий разделить задачи предварительной обработки и декодирования между разными GPU. Это даёт возможность одновременно использовать большие параллельные вычисления для декодирования и более эффективные методы для предварительной обработки. Также важную роль сыграл NVFP4, новый формат представления чисел, который обеспечивает точность вычислений и повышает общую эффективность системы.

Применение на практике

Тестирование проводилось на модели Kimi K2 Thinking, которая активирует 32 млрд параметров на один проход. Результаты показали, что Blackwell способен поддерживать развитие моделей MoE, которые уже сейчас становятся стандартом для ряда применений. Учитывая, что такие модели становятся всё более востребованными, достижения NVIDIA могут оказаться важным фактором в дальнейшем развитии рынка.

Интересно: Каковы будут последствия для рынка, если применение моделей MoE станет стандартом, а производительность NVIDIA будет обеспечивать преимущества для ключевых участников?

Когда эффективность становится новой валютой

Распределение усилий и баланс сил

Модель Mixture of Experts (MoE) — это не просто архитектурный трюк. Это способ переделать логику работы ИИ, где вместо того, чтобы включать всю модель, система выбирает только те её части, которые действительно нужны. Это экономит ресурсы, ускоряет вычисления и снижает затраты. Но масштабировать такой подход — задача не из лёгких. NVIDIA справилась с этим, используя co-design, то есть синхронную оптимизацию железа и ПО.

Blackwell — это не просто более мощный чип. Это новая архитектура, которая учитывает специфику MoE. Сервер GB200 NVL72 объединяет 72 чипа, 30 ТБ памяти и позволяет распределять нагрузку так, что каждый токен обрабатывается там, где это наиболее эффективно. Это не просто ускорение, это перераспределение сил, где каждая часть системы работает на общую цель.

Важный нюанс: NVIDIA не просто улучшила производительность — она изменила модель взаимодействия между железом и программным обеспечением, что делает её решения более устойчивыми к масштабированию.

i

Создано специально для ASECTOR

Концептуальное изображение

Когда ПО становится частью железа

NVIDIA Dynamo и NVFP4 — это не просто инструменты. Это новая логика, которая позволяет разделять задачи на этапы, где одни GPU занимаются предварительной обработкой, а другие — декодированием. Это похоже на сборку автомобиля: одни работают с кузовом, другие — с двигателем. Такой подход ускоряет производство, но требует точного синхронизма.

NVFP4 — это формат представления чисел, который позволяет сохранить точность вычислений, не жертвуя скоростью. Это важно, потому что при переходе к большим моделям любая потеря точности может привести к ошибкам в выводе. NVIDIA нашла способ сохранить баланс между скоростью и точностью, что делает её решения привлекательными для тех, кто хочет масштабировать ИИ без потери качества.

Важный нюанс: Успех NVIDIA в оптимизации ПО показывает, что будущее ИИ — это не только мощные чипы, но и умение использовать их рационально.

Усиление позиций через стратегические партнёрства

Достижения NVIDIA в области MoE и Blackwell получили поддержку на глобальном уровне. Компания подписала соглашения с Microsoft, Anthropic и Hyundai Motor Group, что позволяет ей масштабировать применение своих решений в облачных сервисах, промышленности и транспорте. Например, в Южной Корее NVIDIA поставит более 260 тысяч GPU, включая 50 тысяч чипов Blackwell, для создания национальной ИИ-инфраструктуры [!]. Это подчёркивает её доминирующее положение в обеспечении вычислительных мощностей для ИИ.

Важный нюанс: Стратегические партнёрства усиливают позиции NVIDIA, позволяя ей ускорять внедрение решений и влиять на формирование ИИ-экосистемы.

Новые вызовы и возможности

Однако рост спроса на оборудование NVIDIA сталкивается с ограничениями. Производственные мощности TSMC, на которых компания основывает своё производство, перегружены. Заказы в три раза превышают возможности, что ограничивает доступность чипов даже для крупных заказчиков [!]. В таких условиях NVIDIA активно заключает долгосрочные контракты, чтобы закрепить свои позиции. Это делает её одним из ключевых игроков в распределении ресурсов в индустрии полупроводников.

В Китае компания сталкивается с дополнительными сложностями. В связи с американскими ограничениями на экспорт передовых чипов, NVIDIA выпустила ограниченную версию RTX 6000D, которая отличается сокращёнными характеристиками. Это снизило её долю на рынке, но, как отмечает Джин Хуан, стимулирует развитие локальной полупроводниковой отрасли в Китае [!].

Важный нюанс: Ограничения на экспорт усиливают зависимость от локальных партнёров и требуют адаптации стратегий на глобальном уровне.

Долгосрочные перспективы и инфраструктурные вызовы

Для российского бизнеса важно понимать, что переход на модели MoE и использование решений NVIDIA требует значительных инвестиций в обновление техники и переписывания ПО. Но отказ от этого может привести к потере конкурентоспособности. В условиях, где ИИ становится частью бизнес-процессов, отставание в технологиях — это не просто упущение, это риск.

Рынок будет двигаться в сторону тех, кто может обеспечить эффективность, масштабируемость и точность. NVIDIA показала, что это возможно. Теперь остаётся понять, кто сможет следовать за ней.

Важный нюанс: Инфраструктурные вызовы, такие как дефицит памяти и мощностей, требуют оперативных решений и стратегического планирования.