NanoColibri-Instruct

NanoColibri-Instruct доказал эффективность архитектуры MoE при обучении с бюджетом менее $300

Команда энтузиастов успешно обучила модель NanoColibri-Instruct с нуля, используя принцип «эстафетного» обучения на арендованной видеокарте H100 за 90 часов. Архитектура модели с 2,7 млрд параметров в сумме и 340 млн активных параметров позволила превзойти плотные аналоги в пяти из семи тестовых задач, подтвердив гипотезу о возможности запуска сложных моделей на устройствах с ограниченной памятью.

Событие: Обучение модели NanoColibri-Instruct было завершено с затратами $180–260 и выполнением 20 000 обновлений весов на наборе данных FineWeb-Edu.

Исследование: В ходе тестирования NanoColibri-Instruct показал результаты выше, чем модели Pythia-410M и Cerebras-GPT-256M, в пяти из семи бенчмарков, включая PIQA и ARC-E.

Риск: Процесс «эстафетного» обучения NanoColibri-Instruct требует жесткой синхронизации состояния, так как ошибка в передаче данных может привести к потере вычислительных ресурсов.

Фактор: Использование механизма подгрузки экспертов с диска (NVMe) в NanoColibri-Instruct позволяет обойти ограничения по оперативной памяти, но требует контроля кэша на уровне ядра для корректной оценки производительности.

Анонс: Разработчики планируют создать модель Colibri-Grande на 24–28 млрд параметров для проверки работы системы подгрузки с диска при превышении объема памяти ноутбука.

Подробнее →