Alibaba Cloud
Alibaba Cloud в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний. Страница 3:
Снижение потребности в GPU Nvidia на 82% благодаря Aegaeon
Alibaba Cloud представила систему Aegaeon, которая оптимизирует использование GPU Nvidia H20 во время инференса за счет виртуализации доступа к ресурсам на уровне токенов. Это позволяет одному чипу обслуживать несколько моделей, увеличивая пропускную способность в 9 раз по сравнению с решениями ServerlessLLM или MuxServe. В тестах количество GPU, необходимых для поддержки десятков моделей, включая LLM с 72 млрд параметров, сократилось с 1192 до 213. Основные улучшения достигнуты за счет упаковки моделей на одном GPU и динамического распределения ресурсов. Технология разработана в условиях ограниченного доступа к западным компонентам, что особенно актуально для регионов с санкциями.
Расширение инфраструктуры Alibaba Cloud в условиях технологической независимости
Alibaba Cloud объявил о планах расширения глобальной сети дата-центров, включая строительство новых объектов в Бразилии, Франции, Нидерландах и других странах. Компания также увеличит мощности в Мексике, Южной Корее, Японии, Малайзии и Дубае. Это расширение направлено на удовлетворение растущего спроса на ИИ-инфраструктуру. В условиях ограничений на импорт чипов Nvidia, Alibaba активно развивает собственные технологии, включая собственные процессоры и сеть на базе Ethernet.
Alibaba Cloud имеет 12 записей событий в нашей базе. Объединили похожие карточки: Alibaba Cloud; Alicloud и другие.