Обучение моделей MoE

Обучение моделей MoE стало доступным для энтузиастов благодаря эстафетному методу и бюджету в $260

Команда разработчиков успешно провела эксперимент по обучению модели NanoColibri-Instruct с архитектурой Mixture-of-Experts, затратив менее $260 на аренду одного GPU. Проект продемонстрировал, что распределенное обучение по принципу «эстафеты» позволяет создавать эффективные модели с активными параметрами 340 млн, превосходящие плотные аналоги в большинстве задач. Обучение велось на наборе данных FineWeb-Edu с использованием специализированного протокола блокировок для синхронизации между участниками.

Событие: Обучение модели NanoColibri-Instruct с 2,7 млрд параметров было завершено за 90 часов работы видеокарты H100 с затратами $180–260.

Исследование: Эксперимент подтвердил, что архитектура MoE с 340 млн активных параметров превосходит плотные модели по пяти из семи тестовых задач при обучении на сопоставимом объеме данных.

Фактор: Использование механизма «эстафетной» передачи обучения через Hugging Face Hub позволило реализовать тренировку без кластера, но потребовало внедрения атомарных операций для предотвращения дублирования работы.

Риск: Ошибка в синхронизации состояния модели при передаче эстафеты между участниками может привести к потере вычислительных ресурсов и необходимости перезапуска этапа.

Прогноз: В планах команды создание модели Colibri-Grande с 24–28 млрд параметров для тестирования реальной работы системы подгрузки экспертов с диска на устройствах с ограниченной оперативной памятью.

Подробнее →