The Fast Gemma Challenge

Команда VIDRAFT установила верифицированный рекорд скорости в The Fast Gemma Challenge

В рамках конкурса The Fast Gemma Challenge команда VIDRAFT представила конфигурацию, обеспечившую генерацию 510,58 токенов в секунду на видеокарте NVIDIA A10G без потери качества текста. Ключевым условием конкурса стало сохранение показателя перплексии ниже порога отсечения, что позволило отклонить более быстрые, но менее точные решения. Достижение стало возможным благодаря использованию скользящего окна, синтетической разминки и спекулятивного декодирования с моделью-помощником. Все параметры настройки и используемые компоненты доступны для воспроизведения сообществом.

Событие: Команда VIDRAFT зафиксировала скорость 510,58 TPS при перплексии 2,3930, что стало лучшим верифицированным результатом в The Fast Gemma Challenge.

Фактор: В рамках The Fast Gemma Challenge организаторы отклонили конфигурации с более высокой скоростью (до 535,91 TPS) из-за превышения допустимого порога перплексии.

Исследование: Участники The Fast Gemma Challenge доказали возможность ускорения модели google/gemma-4-E4B-it через комбинацию оптимизации ядра и отказа от предзагрузки кэша.

Связь: Успешное завершение The Fast Gemma Challenge командой VIDRAFT стало возможным благодаря интеграции оптимизированных весов и алгоритмов, предоставленных другими участниками конкурса.

Риск: Перенос настроек, отработанных в The Fast Gemma Challenge, на другое оборудование или версии ПО может потребовать повторной калибровки параметров из-за зависимости от специфических драйверов CUDA.

Подробнее →