Google/gemma-4-E4B-it

google/gemma-4-E4B-it демонстрирует скорость 510,58 токенов в секунду без потери качества на NVIDIA A10G

Команда VIDRAFT представила конфигурацию, в которой модель google/gemma-4-E4B-it генерирует текст со скоростью 510,58 токенов в секунду на видеокарте NVIDIA A10G, сохраняя перплексию на уровне 2,3930. Это решение подтверждает возможность значительного ускорения работы модели за счет программной оптимизации, не жертвуя смысловой точностью, при условии использования специфических настроек скользящего окна и спекулятивного декодирования. Все параметры для воспроизведения результата опубликованы в открытом доступе.

Событие: В ходе конкурса The Fast Gemma Challenge модель google/gemma-4-E4B-it показала верифицированную скорость 510,58 TPS при перплексии 2,3930, что ниже порога отсечения 2,42.

Фактор: Достигнутый результат стал возможен благодаря комбинации скользящего окна размером 188 токенов, синтетической разминки из 64 запросов и использования модели-помощника для предсказания 7 токенов за шаг.

Эффект: Применение данной конфигурации доказывает, что программная оптимизация позволяет ускорить работу google/gemma-4-E4B-it без искажения смысла текста, что критично для задач с высокими требованиями к точности.

Инсайт: Попытки достичь более высокой скорости (например, 535,91 TPS) привели к отклонению результатов из-за падения качества генерации, что подтверждает приоритет стабильности метрик над максимальной пропускной способностью для google/gemma-4-E4B-it.

Подробнее →