Спекулятивное декодирование

Спекулятивное декодирование DFlash ускорило генерацию кода моделью Qwen3.6 на ноутбуках Intel в 2,2 раза

Технология спекулятивного декодирования DFlash в связке с фреймворком OpenVINO позволила преодолеть ограничения архитектуры «смесь экспертов» при работе на портативных устройствах. Вместо последовательной проверки токенов, Спекулятивное декодирование формирует параллельные блоки предсказаний, что критически важно для снижения нагрузки на память и ускорения генерации на процессорах Intel Core Ultra Series 3. Эксперименты подтвердили, что данный метод наиболее эффективен в задачах с четкой структурой, таких как написание кода и решение математических задач.

Событие: При тестировании на ноутбуке с процессором Intel Core Ultra X7 368H Спекулятивное декодирование обеспечило скорость генерации кода 90 токенов в секунду, что в 2,2 раза быстрее базового уровня.

Исследование: В ходе экспериментов на бенчмарках HumanEval, GSM8K и MT-Bench средний размер принятого блока токенов составил от 4,0 до 6,4 единиц, при этом ускорение варьировалось от 1,3x до 2,2x в зависимости от типа задачи.

Фактор: Архитектура MoE затрудняет стандартное ускорение из-за необходимости загрузки множества специализированных подсетей, но Спекулятивное декодирование решает эту проблему за счет параллельной обработки блоков.

Риск: Текущая реализация DFlash поддерживает только текстовые запросы и жадное сэмплирование, что ограничивает применение технологии в мультимодальных сценариях до выхода обновлений OpenVINO.GenAI.

Подробнее →