Экспертная смесь

Яндекс открыл код Alice AI Foundation LLM, где MoE обеспечивает высокую скорость при малом числе активных параметров

Яндекс опубликовал претрейн-версию модели Alice AI Foundation LLM, построенной на архитектуре Mixture of Experts (MoE). Благодаря этой структуре из 80 млрд общих параметров в момент обработки запроса активируются только 3 млрд, что снижает нагрузку на оборудование и ускоряет генерацию ответа. Архитектура MoE стала ключевым инструментом для тестирования эффективных решений будущей единой рассуждающей модели (ERM), которая ляжет в основу агентных функций Алисы AI.

Событие: Яндексу удалось достичь сопоставимого с закрытой версией качества ответов на фактологические вопросы, используя MoE-архитектуру с 3 млрд активных параметров вместо 7 млрд в предыдущей модели.

Фактор: Использование MoE позволило сократить стоимость поддержки ИИ-агентов, которым требуется быстрая реакция на поручения пользователя, за счет оптимизации вычислительных ресурсов.

Связь: Архитектура MoE напрямую влияет на развитие агентных функций Алисы AI, выступая базой для будущей единой рассуждающей модели (ERM).

Подробнее →

Метод физиков для сжатия LLM демонстрирует эффективность на гибридных архитектурах с MoE

Команда Multiverse Computing разработала алгоритм ускорения больших языковых моделей, основанный на оптимизации системы Изинга из физики конденсированного состояния. Метод позволяет находить оптимальные комбинации блоков для удаления с учетом их взаимных связей, что критически важно при глубоком сжатии. Подход протестирован на различных архитектурах, включая модели с механизмом Mixture-of-Experts (MoE), подтвердив свою применимость к сложным гибридным структурам.

Фактор: Алгоритм обеспечивает универсальность, работая не только с классическими трансформерами, но и с гибридными архитектурами, где слои разного типа чередуются, что важно для новых моделей, использующих механизмы вроде Mixture-of-Experts (MoE).

Исследование: Тестирование метода проводилось на нескольких архитектурах, включая гибридные модели с разными типами слоев (внимание, Mamba2, MoE), что подтверждает его совместимость с современными структурами нейросетей.

Подробнее →

Mixture-of-Experts доказала эффективность при обучении на бюджет $200 с использованием эстафетного метода

Архитектура Mixture-of-Experts (MoE) стала центральным элементом эксперимента, в ходе которого команда энтузиастов обучила модель NanoColibri-Instruct с 2,7 млрд параметров, потратив менее $260. MoE позволила превзойти плотные модели по пяти из семи тестовых задач, используя всего 340 млн активных параметров на токен и распределяя вычисления между участниками через механизм «эстафеты». Успех проекта подтвердил гипотезу о возможности запуска больших моделей на устройствах с ограниченной памятью за счет подгрузки отдельных экспертов с диска.

Исследование: Эксперимент показал, что модель с архитектурой MoE и 341 млн активных параметров превосходит плотные аналоги Pythia-410M и Cerebras-GPT-256M в 5 из 7 бенчмарков.

Событие: Обучение модели с использованием протокола «эстафеты» на базе Hugging Face Hub заняло 90 часов работы видеокарты H100 и включило 20 000 обновлений весов.

Риск: При реализации обучения MoE в распределенном режиме существует угроза потери вычислительных ресурсов из-за ошибок синхронизации состояния или использования кэша ОС, маскирующего реальную нагрузку на диск.

Анонс: Разработчики планируют создать модель Colibri-Grande на 24–28 млрд параметров, где контейнер будет превышать объем оперативной памяти ноутбука для проверки реальной работы подгрузки экспертов с диска.

Подробнее →

GSPO устраняет необходимость в Routing Replay при обучении MoE-моделей

Суть: Алгоритм GSPO меняет принцип оптимизации с уровня токенов на уровень последовательностей, что критически важно для стабильного обучения архитектур с динамически активируемыми экспертами (MoE).

Связь: Отказ от оценки отдельных слов в GSPO позволяет обучать MoE-модели без дорогостоящего механизма фиксации маршрута активации экспертов (Routing Replay), устраняя рассинхронизацию сигнала награды.

Эффект: Новая методика снижает вычислительные затраты и упрощает инфраструктуру обучения, предотвращая «коллапс» модели из-за скачков в расчетах при смене набора активных экспертов.

Фактор: Нестабильность обучения в MoE при использовании алгоритма GRPO вызвана огромными скачками в оценках качества при переходе от шага к шагу с разным набором нейронных модулей.

Подробнее →

Mixture-of-Experts в модели Aether-7B-5Attn обеспечивает высокую емкость при сниженных вычислительных затратах

Архитектура модели Aether-7B-5Attn реализует подход Mixture-of-Experts, активируя лишь часть параметров для обработки каждого токена. Из общего объема 6,59 млрд параметров на каждый токен задействуется 2,98 млрд, что позволяет балансировать между способностями модели и эффективностью вычислений.

Фактор: Mixture-of-Experts интегрирован в структуру из 49 слоев с разнородными механизмами внимания, организованными по схеме латинского квадрата.

Эффект: Mixture-of-Experts снижает вычислительную стоимость генерации текста, однако специфика реализации ограничивает поддержку кэширования контекста и пакетной обработки.

Риск: Mixture-of-Experts в текущей конфигурации не поддерживает быстрое кэширование (KV cache), что замедляет работу модели по сравнению с оптимизированными коммерческими аналогами.

Подробнее →