Bonsai-27B
Bonsai-27B в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
POCKET-35B демонстрирует преимущество в скорости генерации над Bonsai-27B на локальном оборудовании
Новая модель POCKET-35B, использующая архитектуру смеси экспертов, показывает более высокую скорость генерации текста по сравнению с Bonsai-27B при работе на процессорах и видеокартах. Тесты подтверждают, что на серверном оборудовании POCKET генерирует токены в 2,69 раза быстрее на CPU и в 2,22 раза быстрее на GPU, сохраняя при этом сопоставимое качество ответов. На потребительских устройствах, таких как ноутбуки с чипами Apple M3, преимущество POCKET расширяется за счет меньшего объема данных, читаемых из памяти на каждый токен, что критично для систем с ограниченной пропускной способностью памяти.
Событие: В прямом сравнении на процессоре Xeon и видеокарте H100 модель POCKET-35B IQ1_M превысила скорость генерации Bonsai-27B Q1_0 в 2,69 раза на CPU и в 2,22 раза на GPU.
Фактор: Архитектура POCKET требует чтения в 5 раз меньше данных с памяти на каждый токен (0,66 ГБ против 3,5 ГБ у Bonsai-27B), что устраняет узкое место пропускной способности памяти на массовых устройствах.
Эффект: На мощных серверных GPU Bonsai-27B сохраняет преимущество в скорости обработки входных запросов (prefill), опережая POCKET в 2,4 раза, однако уступает в скорости интерактивной генерации текста.
Тренд: Сопоставимое качество ответов (61% против 60% в тесте HellaSwag) при значительно более высокой скорости работы POCKET смещает фокус локального ИИ с вычислительной мощности видеокарт на объем оперативной памяти.
В нашей базе собрано 1 событие по теме «Bonsai-27B». Мы показываем все из них.