Massive Multitask Language Understanding

Метод сжатия нейросети на основе модели Изинга сохраняет результаты MMLU при удалении половины блоков Llama-3.3-70B-Instruct

Команда Multiverse Computing применила математический аппарат физики конденсированного состояния для оптимизации структуры больших языковых моделей. Алгоритм учитывает взаимовлияние слоев, что позволяет удалять значительную часть архитектуры без критической потери качества. На тестовой модели Llama-3.3-70B-Instruct при удалении 40 из 80 блоков метод продемонстрировал устойчивость к деградации производительности по сравнению с альтернативными техниками.

Исследование: Бенчмарк MMLU был использован для валидации эффективности нового метода сжатия, показав результат 76.9 балла после удаления половины блоков модели.

Эффект: При глубоком сжатии (удаление 40% глубины) метод обеспечил сохранение качества на уровне 76.9 по MMLU, тогда как лучший альтернативный алгоритм упал до 54.0 баллов.

Подробнее →

Снижение точности фактических знаний при использовании ролевых инструкций

Бенчмарк MMLU подтвердил, что назначение модели роли эксперта снижает точность ответов в задачах, опирающихся на предобученные знания, такие как математика и программирование. В тестировании модель с директивой «эксперт» показала результат 68,0%, уступив базовой версии без ролевой инструкции, которая достигла 71,6%. Это ухудшение происходит потому, что активация режима следования инструкциям отвлекает вычислительные ресурсы от извлечения фактов из базы данных модели.

Подробнее →