Физические алгоритмы

Физические алгоритмы ускоряют глубокое сжатие LLM через оптимизацию системы Изинга

Команда Multiverse Computing применила математический аппарат физики конденсированного состояния для решения задачи выбора удаляемых слоев в больших языковых моделях. Вместо поочередной оценки блоков метод учитывает взаимовлияния между ними, сводя поиск к конфигурации с минимальной энергией системы. Это позволяет сохранять качество ответов при агрессивном удалении до половины архитектуры нейросети. Открытый код алгоритма обеспечивает совместимость с различными архитектурами и дополняет существующие техники оптимизации.

Событие: На тесте Llama-3.3-70B-Instruct после удаления 40 из 80 блоков метод показал результат 76.9 в бенчмарке MMLU, превысив лучший альтернативный алгоритм (54.0) почти на 23 процентных пункта.

Механизм: Алгоритм дискретизирует блоки и строит матрицу связей между ними, используя классические и квантово-вдохновленные методы оптимизации для поиска состояния с минимальной энергией.

Эффект: Удаление блоков снижает объем обрабатываемых данных и потребление оперативной памяти GPU, что напрямую уменьшает стоимость инференса и обслуживания API.

Фактор: Стандартные методы сжатия игнорируют взаимовлияния слоев (среднепольное приближение), из-за чего качество модели резко падает при агрессивном удалении компонентов.

Подробнее →