NVIDIA GB300 NVL72: дешевые токены, но скрытые расходы на инфраструктуру
Стоимость обработки миллиона токенов упала в 35 раз, но цена жидкостного охлаждения одного сервера GB300 NVL72 составляет почти половину стоимости самого железа. NVIDIA смещает фокус с продажи чипов на долю от выручки клиентов, что делает скрытые затраты на модернизацию сетей и энергосистем главным риском для бизнес-планов. / Страница 3
Читать полностью
Календарь упоминаний. Страница 3:
Значительное повышение пропускной способности и снижение латентности у GB300 NVL72
GB300 NVL72 демонстрирует пиковую пропускную способность в 226,2 токена в секунду на GPU, что в 53 раза превышает показатель предыдущей версии — GB200 NVL72. Также система обеспечивает увеличение скорости работы на пользовательском уровне в 87 раз благодаря MTP и снижение латентности в 58 раз. В среднем, GB300 NVL72 работает в 1,4–1,5 раза быстрее, чем GB200 NVL72, особенно в задачах с высокими требованиями к времени отклика. Это достигается за счёт методов оптимизации, таких как PD Disaggregation, динамическое разделение запросов и улучшение ёмкости KV-кэша.
Рекордная экономическая эффективность ИИ-инфраструктуры на базе GB300 NVL72
GB300 NVL72 — ключевой компонент архитектуры Blackwell Ultra, обеспечивающий рекордную пропускную способность и энергоэффективность. По сравнению с предыдущим поколением, он позволяет увеличить пропускную способность на мегаватт в 50 раз и сократить стоимость обработки одного миллиона токенов в 35 раз. Это достигается за счёт применения формата NVFP4 и совместной разработки компонентов системы. Устройство также демонстрирует улучшения в обработке длинного контекста и снижении задержки, что делает его приоритетным для агентных систем.
Значительные затраты на охлаждение в системе Nvidia GB300 NVL72
Система жидкостного охлаждения в решении Nvidia GB300 NVL72 обходится в 49 860 долларов. Эта сумма покрывает охлаждение 18 вычислительных модулей и 9 модулей коммутации. Охлаждение одного вычислительного модуля стоит 2 260 долларов, а модуля коммутации — 1 020 долларов. Основную долю расходов составляют холодные пластины для ЦПУ, ГПУ и NVSwitch ASIC, цена которых — 300 и 200 долларов за единицу соответственно.
Nvidia GB300 обеспечивает рост проектных заказов Supermicro
Оборудование для ИИ, включая Nvidia GB300, демонстрирует высокую востребованность, что подтверждается стартом поставок. Оно стало частью проектных заказов на $12 млрд, которые Supermicro планирует выполнить во втором квартале 2026 года. Эти заказы составляют более трети от общей годовой выручки компании ($33 млрд), что компенсирует текущие финансовые трудности.
Новый стандарт ИИ-инфраструктуры в Европе
NVIDIA GB300 станет следующим поколением оборудования, на котором будет строиться ИИ-инфраструктура DataCrunch, обеспечивая высокопроизводительные вычисления для обучения и инференса крупных моделей. Компания планирует использовать эти ускорители в рамках проекта AI-гигафабрики в Латвии, где предполагается разместить около 100 000 устройств. GB300 заменит текущие системы B200 и усилит позиции DataCrunch как европейского поставщика облачных решений для искусственного интеллекта.
В нашей базе собрано 15 событий по теме «NVIDIA Grace Blackwell GB300». Мы показываем все из них.
Объединили похожие карточки: NVIDIA Grace Blackwell GB300; Grace Blackwell GB300; Nvidia GB300 NVL72 и другие.