Bartowski
Bartowski в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
Bartowski представил data-driven метод квантования GGUF для локального запуска ИИ
Разработчик Bartowski разработал новую систему распределения битов для сжатия нейросетей, которая анализирует каждый тензор индивидуально вместо применения единого эвристического алгоритма. Подход основан на результатах 96-часового стресс-теста более 1000 конфигураций, что позволяет точнее распределять ресурсы памяти под конкретную архитектуру модели. Система выявила, что эмбеддинги чувствительны к сжатию в 8–16 раз сильнее обычных весовых матриц, а также подтвердила U-образную форму чувствительности слоев по глубине сети.
Событие: Разработчик представил новый метод создания квантованных моделей формата GGUF, основанный на анализе каждого тензора отдельно для минимизации потери качества при сжатии.
Исследование: Метод «Degrade-one» показал, что эмбеддинги (слои, превращающие текст в числа) требуют значительно больше ресурсов, так как они чувствительнее к сжатию в 8–16 раз сильнее обычных весовых матриц.
Эффект: За счет более рационального распределения битов размеры файлов могут измениться; например, вариант Q3_K_M для модели Qwen3.5-4B стал на 15% меньше при сохранении или улучшении качества вывода.
Риск: Данные собраны преимущественно на моделях семейства Qwen и проверены лишь на ограниченном наборе других архитектур, поэтому для очень крупных моделей или тех с нестандартными механизмами внимания (например, MLA в DeepSeek) могут потребоваться доработки скриптов.
В нашей базе собрано 1 событие по теме «Bartowski». Мы показываем все из них.