Использование виртуальных технологий для распределения вычислительных мощностей

Снижение потребности в GPU за счет виртуализации токенов

Система Aegaeon оптимизирует использование графических процессоров, виртуализируя доступ к GPU на уровне токенов, что позволяет одному чипу Nvidia H20 обслуживать несколько моделей одновременно. За счет упаковки нескольких моделей на одном GPU и динамического распределения ресурсов при генерации токенов пропускная способность увеличивается в 9 раз, а необходимое количество GPU для поддержки десятков моделей сокращается с 1192 до 213. Это особенно важно в регионах с ограниченным доступом к новым чипам, таких как Китай, где система может значительно повысить эффективность существующих вычислительных ресурсов.

Подробнее →