POCKET в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
POCKET запускает работу моделей на 35 млрд параметров на обычных ноутбуках и смартфонах без видеокарт
Семейство моделей POCKET от VIDRAFT_LAB использует архитектуру «смеси экспертов» для активации лишь 3 млрд параметров на токен, что обеспечивает ускорение генерации в 2,7 раза на процессорах и в 2,2 раза на видеокартах по сравнению с аналогами. Решение полностью совместимо со стандартными инструментами вроде llama.cpp и Ollama, не требуя модифицированного софта, и доступно в нескольких версиях под разные объемы оперативной памяти.
Событие: POCKET продемонстрировал скорость генерации 27,0 ток/с на CPU и 197 ток/с на GPU, превзойдя конкурента Bonsai-27B в 2,69 и 2,22 раза соответственно.
Фактор: POCKET читает в 5 раз меньше данных с памяти на каждый сгенерированный токен (0,66 ГБ против 3,5 ГБ), что устраняет узкое место пропускной способности на потребительских устройствах.
Эффект: POCKET смещает критический фактор производительности локального ИИ с мощности видеокарты на объем оперативной памяти, делая запуск качественных моделей возможным при наличии 16–32 ГБ ОЗУ.
Связь: POCKET обеспечивает преимущество в скорости обработки промпта на ноутбуках с чипами Apple Silicon, так как оптимизирован под ограничения пропускной способности памяти, характерные для этого оборудования.
В нашей базе собрано 1 событие по теме «POCKET». Мы показываем все из них.