Colibri-Micro

Colibri-Micro станет следующим этапом развития архитектуры MoE с фокусом на генерацию кода

Проект NanoColibri подтвердил эффективность обучения моделей с ограниченным бюджетом и памятью, что заложило основу для создания более масштабных решений. На основе полученного опыта команда планирует запустить разработку модели Colibri-Micro, которая будет иметь значительно больший размер параметров и обучаться на специализированных данных. Этот шаг направлен на проверку гипотезы о возможности эффективной работы с моделями, чей объем превышает стандартную оперативную память, за счет подгрузки блоков с диска.

Анонс: Планируется создание модели Colibri-Micro с общим объемом 7 млрд параметров и 1 млрд активных параметров, обученной на наборе данных в 100 млрд токенов с акцентом на программирование.

Связь: Успешное тестирование архитектуры NanoColibri с механизмом «эстафетного» обучения стало прямым фактором, позволившим сформулировать технические требования и стратегию для разработки Colibri-Micro.

Риск: Реализация обучения Colibri-Micro потребует решения проблемы ложных показаний скорости диска из-за кэширования ОС, что может привести к потере вычислительных ресурсов при неправильной настройке ограничений памяти.

Тренд: Переход к созданию моделей, где общее количество параметров превышает объем оперативной памяти устройства, становится устойчивым направлением для локального развертывания ИИ.

Подробнее →