FineWeb-Edu

FineWeb-Edu обеспечил обучение модели NanoColibri-Instruct на 5,2 млрд токенов

Набор данных FineWeb-Edu стал фундаментом для экспериментального обучения модели NanoColibri-Instruct с архитектурой MoE, позволив выполнить 20 000 обновлений весов при бюджетных затратах. Использование этого датасета позволило модели превзойти плотные аналоги в пяти из семи тестовых задач, однако отсутствие в FineWeb-Edu художественных текстов напрямую повлияло на результаты в бенчмарке LAMBADA.

Фактор: Обучение модели велось на основе 5,2 млрд токенов из набора FineWeb-Edu, что обеспечило высокую эффективность архитектуры MoE в большинстве задач.

Эффект: Отсутствие художественной литературы в составе FineWeb-Edu стало причиной более низких показателей модели в тесте на понимание контекста LAMBADA по сравнению с конкурентами.

Событие: На базе FineWeb-Edu было выполнено 20 000 итераций обучения модели с активными параметрами 340 млн, что заняло около 90 часов работы видеокарты H100.

Подробнее →