Команда VIDRAFT ускорила генерацию на NVIDIA A10G без потери качества текста

Команда VIDRAFT представила публичную конфигурацию, обеспечившую скорость генерации 510,58 токенов в секунду на видеокарте NVIDIA A10G в рамках конкурса The Fast Gemma Challenge. Ключевое достижение заключается не в абсолютном рекорде скорости, а в сохранении качества текста: показатель перплексии (PPL) составил 2,3930, что ниже порога отсечения 2,42. Это решение доказывает, что программная оптимизация может ускорить работу модели google/gemma-4-E4B-it без потери смысловой точности, при этом все настройки доступны для воспроизведения.

Техническая суть рекорда

Суть конкурса заключалась в максимизации скорости вывода (TPS) на фиксированном железе без замены модели и без ухудшения качества текста. Организаторы проверяли результаты на закрытом наборе данных, отклоняя любые попытки, где качество падало ниже установленного уровня.

Команда VIDRAFT заняла позицию лидера среди проверенных результатов. Хотя существуют более быстрые конфигурации (например, 535,91 TPS), они были отклонены из-за перплексии выше 2,44, что означает снижение качества генерации. Решение VIDRAFT сбалансировано:

• Скорость: 510,58 TPS (токенов в секунду).
• Качество: 2,3930 (перплексия, где ниже — лучше).
• Статус: Верифицировано организаторами на независимом наборе промптов.

Важный нюанс: Рекордная скорость была достигнута за счет отказа от «грязных» ускорений, которые искажают смысл текста. Это подтверждает, что в задачах с жесткими требованиями к качеству (например, юридические или медицинские тексты) приоритетом должна быть стабильность метрик, а не максимальная пропускная способность.

Инструменты и настройки ускорения

Достижение результата стало возможным благодаря комбинации нескольких программных техник, направленных на устранение узких мест в работе видеокарты. Основная проблема при генерации текста — пропускная способность памяти при работе с кэшем внимания (KV-cache).

Ключевые элементы конфигурации:

• Скользящее окно (Sliding Window): Размер окна ограничен 188 токенами. Это позволяет модели фокусироваться на самых свежих данных, экономя память. Слишком узкое окно (128 токенов) ухудшает качество, а слишком широкое замедляет работу. Значение 188 выбрано как оптимальный баланс.
• Синтетическая разминка (Warmup Bridge): Перед запуском таймера система обрабатывает 64 синтетических запроса. Это позволяет завершить все процессы компиляции и захвата графов CUDA до начала замера. Без этого шага скорость падает примерно на 15 TPS.
• Спекулятивное декодирование: Используется модель-помощник (drafter) для предсказания сразу 7 токенов за шаг. Это снижает количество обращений к основной модели.
• Оптимизация ядра: Включены функции слияния операций (Fused Sparse Argmax) и проверки разделения KV-кэша (SplitKV Verify), что убирает лишние задержки при запуске вычислений.
• Отключение предзагрузки (Precache): Путь предзагрузки отключен. Хотя это может искусственно завысить скорость в локальных тестах, именно такое решение гарантирует, что заявленные цифры совпадут с результатами независимой проверки.

Зависимость от сообщества

Результат VIDRAFT не является изолированным достижением одной команды. Конфигурация построена на компонентах, созданных другими участниками конкурса и опубликованных в открытом доступе. Это демонстрирует эффективность открытого обмена данными в ИТ-среде.

Используемые внешние ресурсы:

• Веса модели (INT4): От участника @chiku-inu (оптимизированные веса).
• Модель-помощник (Drafter): От участника @kenyan-duma (для спекулятивного декодирования).
• Набор весов LM-головы: От участника @dixie-flatline.
• База разминки: От участника @firfir-cast.

Благодаря тому, что участники делились даже неудачными экспериментами, общий уровень рекорда вырос за шесть дней.

Практические последствия для внедрения

Для бизнеса и разработчиков этот кейс имеет несколько важных выводов, касающихся эксплуатации больших языковых моделей на ограниченном оборудовании.

• Баланс скорости и качества: Попытка выжать максимальную скорость любой ценой может привести к генерации бессмысленного или неточного текста. В продакшене критически важно валидировать скорость на реальных метриках качества (PPL), а не только на синтетических бенчмарках.
• Важность «разогрева»: Для стабильной работы сервисов на GPU необходимо предусмотреть этап предварительной инициализации (warmup). Без него первая серия запросов будет работать значительно медленнее, что создаст ложное впечатление о производительности системы.
• Репroducемость как стандарт: Публикация полного манифеста (manifest.json) позволяет другим командам точно воспроизвести результаты. Это снижает риски при внедрении оптимизаций, так как исключает фактор «магии» или скрытых настроек.
• Эффективность открытого кода: Использование чужих оптимизированных весов и алгоритмов позволяет достичь результатов, которые сложно получить в одиночку. Это снижает порог входа для компаний, не имеющих собственных команд по оптимизации ядра.

Стоит учесть: Успех данной конфигурации зависит от специфической версии библиотеки vLLM и драйверов CUDA. При переносе решения на другие версии ПО или другое оборудование (не NVIDIA A10G) результаты могут отличаться, что потребует повторной калибровки параметров скользящего окна и спекулятивного декодирования.

Данные настройки и файлы доступны для скачивания в репозитории конкурса, что позволяет инженерам адаптировать подход под свои задачи по развертыванию моделей на серверах с ограниченным бюджетом на видеокарты.