VIDRAFT_LAB

VIDRAFT_LAB представила семейство моделей POCKET для работы на обычных устройствах без видеокарт

Компания VIDRAFT_LAB выпустила линейку моделей на базе архитектуры «смеси экспертов», способных функционировать на стандартных ноутбуках и смартфонах, используя лишь оперативную память. Решение обеспечивает значительный прирост скорости генерации текста на процессорах и видеокартах по сравнению с конкурентами, сохраняя высокое качество ответов. Разработчики адаптировали модели под различные объемы памяти и языковые задачи, обеспечив совместимость с популярными инструментами без необходимости установки модифицированного ПО.

Событие: VIDRAFT_LAB представила модель POCKET-35B, которая на процессорах генерирует текст в 2,7 раза быстрее, а на видеокартах — в 2,2 раза быстрее аналогов.

Тренд: Развитие архитектуры MoE от VIDRAFT_LAB смещает фокус пользователей с покупки дорогих видеокарт на увеличение объема оперативной памяти для запуска локального ИИ.

Фактор: VIDRAFT_LAB применила обрезку неиспользуемых экспертов и смешанную точность квантования, что позволило снизить потребление памяти до 0,66 ГБ на токен против 3,5 ГБ у плотных моделей.

Эффект: Благодаря оптимизации от VIDRAFT_LAB, запуск качественных версий моделей теперь возможен на устройствах с 32 ГБ ОЗУ, а компактных — с 16 ГБ, без необходимости использования облачных сервисов.

Подробнее →