Quantization-Aware Healing
Quantization-Aware Healing в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
Multiverse Computing представила Quantization-Aware Healing для создания компактных моделей с повышенной точностью
Команда Multiverse Computing разработала методику Quantization-Aware Healing (QAH), которая меняет стандартный подход к сжатию нейросетей, используя квантование как инструмент обучения вместо этапа пост-обработки. В отличие от традиционных методов «лечения», которые ограничены качеством промежуточных чекпоинтов, QAH дистиллирует знания непосредственно из исходной полноразмерной модели в компактную версию формата MXFP4. Это позволяет 4-битным моделям превосходить по точности свои 16-битные аналоги, сохраняя при этом значительное снижение требований к памяти и вычислительным ресурсам. Методика обеспечивает стабильность обучения без деградации качества при длительной работе модели.
Событие: На модель GPT-OSS 120B, сжатой до 60 млрд параметров и квантованной до MXFP4, QAH показала преимущество над восстановленным BF16-вариантом в 7 из 9 тестовых задач, включая прирост +7.4 балла в задачах с длинным контекстом.
Фактор: Метод решает проблему отсутствия независимого «учителя» для структурно сжатых моделей путем передачи знаний от исходной версии до сжатия через дивергенцию Кульбака-Лейблера, что исключает ограничение точности уровнем промежуточных копий.
Эффект: Компактная 4-битная модель требует примерно в 4 раза меньше памяти для весов и вдвое меньше вычислительных ресурсов на токен по сравнению с оригиналом, при этом превзошла 120-миллиардного «учителя» по генерации кода.
Прогноз: Внедрение QAH снижает риски бизнеса за счет достижения пиковой производительности в 7 раз быстрее альтернативных методов и отсутствия деградации качества, что позволяет запускать модели в эксплуатацию без сложного мониторинга точности.
В нашей базе собрано 1 событие по теме «Quantization-Aware Healing». Мы показываем все из них.