Оптимизация вычислений на локальном оборудовании

Существенный прирост скорости генерации на локальных устройствах

Оптимизация вычислений на локальном оборудовании достигается за счет перехода от последовательной генерации к параллельной обработке блоков текста, что переносит узкое место с пропускной способности памяти на вычислительную мощность процессора. Использование архитектуры Mixture of Experts позволяет разместить модель с 26 миллиардами параметров в 18 ГБ оперативной памяти графического ускорителя, обеспечивая скорость до 700 токенов в секунду на потребительских видеокартах. Такой подход особенно эффективен в условиях локального использования, где низкая пропускная способность памяти часто ограничивает производительность стандартных авто регрессивных моделей.

Подробнее →