MXFP6

Устойчивость модели при использовании MXFP6

MXFP6 — один из поддерживаемых 4-битных форматов в тензорных ядрах Blackwell, применяемый для вычислений с низкой точностью. Он используется совместно с масштабированием, высокоточной арифметикой и накоплением результатов, что обеспечивает стабильность обучения. В экспериментах MXFP6 демонстрировал низкий уровень численного шума и работал в условиях, где требуется сохранение точности при уменьшении объёма памяти и вычислительных затрат. Формат включает методы округления, такие как round-to-nearest-even, что помогает предотвратить ошибки в процессе обучения.

Подробнее →