Multi verse Computing

Multiverse Computing применяет модель Изинга для ускорения LLM через точное удаление блоков

Команда разработала алгоритм, который использует математический аппарат физики конденсированного состояния для поиска оптимальных комбинаций «ненужных» слоев в нейросетях. В отличие от стандартных методов, оценивающих слои по отдельности, новый подход учитывает взаимовлияния между блоками, что критически важно при агрессивном сжатии модели без потери качества ответов.

Исследование: На тесте Llama-3.3-70B-Instruct после удаления 40 из 80 блоков метод показал результат 76.9 в бенчмарке MMLU, тогда как лучший альтернативный алгоритм упал до 54.0.

Эффект: Удаление блоков снижает объем данных для обработки и экономит оперативную память GPU, что напрямую уменьшает стоимость обслуживания API при инференсе.

Фактор: Алгоритм совместим с гибридными архитектурами (включая Mamba2 и MoE) и может применяться последовательно с квантованием или дистилляцией для максимального ускорения.

Подробнее →

Multiverse Computing представила метод QAH, позволяющий 4-битным моделям превосходить полноразмерные аналоги по точности

Команда Multiverse Computing разработала методику Quantization-Aware Healing (QAH), которая меняет подход к сжатию нейросетей. Вместо простого восстановления качества после компрессии, технология использует квантование как инструмент обучения, дистиллируя знания непосредственно из исходной модели до сжатия. В результате компактная версия становится дешевле в эксплуатации и точнее оригинала, что подтверждено тестами на базе GPT-OSS 120B.

Исследование: Метод QAH был протестирован на модели GPT-OSS 120B, сжатой до 60 млрд параметров и квантованной до MXFP4, где он превзошел исходный 16-битный чекпоинт в 7 из 9 тестовых задач.

Событие: Наименьшая деградация качества при сжатии наблюдалась в задачах генерации кода, где компактная модель даже превзошла показатели 120-миллиардного «учителя».

Фактор: Технология обеспечивает стабильность обучения, достигая пиковой производительности примерно в 7 раз быстрее альтернативного метода QAT и не теряя качества при продолжении тренировочного процесса.

Эффект: Внедрение QAH снижает риски для бизнеса, позволяя запускать модели в эксплуатацию без сложного мониторинга деградации точности и экономя вычислительные ресурсы.

Подробнее →