Проект Open Compute

NVFP4 превосходит стандарт Open Compute Project в эффективности обучения

Nvidia разработала 4-битный формат NVFP4, который показал стабильные результаты в процессе обучения крупных языковых моделей. Формат был оптимизирован для архитектуры Blackwell и позволяет сократить объём памяти и вычислительные затраты, сохранив качество модели. В экспериментах с моделью объёмом 12 миллиардов параметров NVFP4 продемонстрировал результаты, близкие к FP8, с разницей менее 1.5% на финальной стадии обучения. В сравнении с MXFP4, определённым Open Compute Project, NVFP4 показал лучшие показатели сходимости и эффективности.

Подробнее →