«MXFP8»

Снижение затрат на обучение моделей с помощью MXFP8

MXFP8 — это 8-битный формат с плавающей точкой, поддерживаемый тензорными ядрами архитектуры Blackwell, который используется для повышения эффективности обучения и инференса крупных языковых моделей. Формат включает в себя методы масштабирования, высокоточную арифметику и накопление результатов, что позволяет снизить численный шум и сохранить стабильность вычислений при низкой точности. В экспериментах MXFP8 показал результаты, близкие к FP8, обеспечивая схожее качество модели при меньших затратах на память и вычисления. Его применение позволяет сократить объём используемых ресурсов, не ухудшая производительность.

Подробнее →