Multi verse Computing

Multiverse Computing представила метод QAH, позволяющий 4-битным моделям превосходить полноразмерные аналоги по точности

Команда Multiverse Computing разработала методику Quantization-Aware Healing (QAH), которая меняет подход к сжатию нейросетей. Вместо простого восстановления качества после компрессии, технология использует квантование как инструмент обучения, дистиллируя знания непосредственно из исходной модели до сжатия. В результате компактная версия становится дешевле в эксплуатации и точнее оригинала, что подтверждено тестами на базе GPT-OSS 120B.

Исследование: Метод QAH был протестирован на модели GPT-OSS 120B, сжатой до 60 млрд параметров и квантованной до MXFP4, где он превзошел исходный 16-битный чекпоинт в 7 из 9 тестовых задач.

Событие: Наименьшая деградация качества при сжатии наблюдалась в задачах генерации кода, где компактная модель даже превзошла показатели 120-миллиардного «учителя».

Фактор: Технология обеспечивает стабильность обучения, достигая пиковой производительности примерно в 7 раз быстрее альтернативного метода QAT и не теряя качества при продолжении тренировочного процесса.

Эффект: Внедрение QAH снижает риски для бизнеса, позволяя запускать модели в эксплуатацию без сложного мониторинга деградации точности и экономя вычислительные ресурсы.

Подробнее →