Арифметические операции низкой точности

Снижение требований к памяти и вычислениям при обучении моделей

Низкоточная арифметика в формате NVFP4 позволяет сократить объём памяти и вычислительные затраты при обучении крупных языковых моделей. Формат использует 4 бита на значение, что снижает нагрузку на оборудование, сохраняя при этом качество модели. В экспериментах с моделью в 12 миллиардов параметров результаты обучения на NVFP4 оказались близки к стандарту FP8. Это достигается за счёт двухуровневой системы масштабирования и специализированных методов округления.

Подробнее →