Локальное выполнение ИИ

Локальное выполнение ИИ на ноутбуках Intel ускорилось в 2,2 раза благодаря технологии DFlash

Компания Intel продемонстрировала возможность запуска сложной модели Qwen3.6-35B-A3B на портативных компьютерах с процессорами Core Ultra Series 3, достигнув скорости генерации 90 токенов в секунду. Локальное выполнение ИИ стало значительно эффективнее за счет внедрения спекулятивного декодирования DFlash в связке с фреймворком OpenVINO, что позволило преодолеть архитектурные ограничения моделей «смесь экспертов» (MoE) на устройствах с ограниченной памятью. Технология формирует блоки предсказаний параллельно, что критически важно для работы тяжелых нейросетей без зависимости от облачных серверов.

Событие: На ноутбуке с процессором Intel Core Ultra X7 368H и графикой Arc B390 скорость генерации кода в бенчмарке HumanEval выросла с 41 до 89,8 токенов в секунду.

Фактор: Архитектура MoE традиционно затрудняет ускорение из-за необходимости загрузки множества специализированных подсетей при проверке нескольких токенов, что DFlash решает параллельной обработкой блоков.

Эффект: Локальное выполнение ИИ теперь позволяет запускать автономные агенты на клиентских устройствах без постоянного подключения к интернету, снижая зависимость от облачной инфраструктуры.

Риск: Текущая версия пайплайна поддерживает только текстовые запросы и одиночную обработку, что ограничивает развертывание мультимодальных сервисов до выхода обновлений OpenVINO.GenAI.

Подробнее →