POCKET-35B
POCKET-35B в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
POCKET-35B демонстрирует преимущество архитектуры MoE в скорости генерации на стандартном оборудовании
Модель POCKET-35B, представленная компанией VIDRAFT_LAB, обеспечивает ускорение генерации текста в 2,7 раза на процессорах и в 2,2 раза на видеокартах по сравнению с аналогами благодаря активации лишь 3 млрд параметров из 35 млрд. Решение оптимизировано для работы в стандартных инструментах без модификаций, смещая критический фактор производительности с вычислительной мощности GPU на объем оперативной памяти устройства.
Событие: Версия POCKET-35B IQ1_M показала скорость генерации 27,0 ток/с на процессоре Xeon и 197 ток/с на видеокарте H100, превзойдя конкурента Bonsai-27B.
Фактор: Архитектура «смеси экспертов» позволяет модели читать в 5 раз меньше данных с памяти на каждый токен, что устраняет узкое место пропускной способности на потребительских ноутбуках.
Эффект: Для запуска качественных версий POCKET-35B достаточно 32 ГБ ОЗУ, а компактных — 16 ГБ, что снижает зависимость от наличия мощных видеокарт.
Инсайт: Английская и корейская версии модели требуют различных методов оптимизации (смешанное квантование против обрезки экспертов), так как единый подход приводит к потере качества.
В нашей базе собрано 1 событие по теме «POCKET-35B». Мы показываем все из них.