TransformerEngine
TransformerEngine в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
2026
30 июня
Ядра TransformerEngine обеспечивают ускорение вычислений в библиотеке NeMo AutoModel
Суть: Библиотека NeMo AutoModel использует оптимизированные ядра TransformerEngine для реализации внимания, линейных слоев и нормализации, что повышает скорость работы по сравнению со стандартными библиотеками PyTorch.
Фактор: Применение ядер TransformerEngine является одним из ключевых технических механизмов, обеспечивающих рост пропускной способности обучения моделей MoE в 3,4–3,7 раза.
Эффект: Интеграция TransformerEngine в состав NeMo AutoModel позволила снизить потребление видеопамяти GPU на 29–32% и обеспечить стабильное дообучение гигантских моделей, недоступных для стандартных версий.
TransformerEngine имеет 1 запись событий в нашей базе.