ST-MoE
ST-MoE в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
2026
16 июля
ST-MoE ввел функцию z-loss для стабилизации обучения моделей с топ-1 экспертом
Суть: Архитектура ST-MoE реализует стратегию выбора одного эксперта для каждого токена, дополненную механизмом стабилизации численных значений.
Событие: В систему была внедрена специальная функция потерь z-loss, предотвращающая «взрыв» чисел в процессах маршрутизации.
Фактор: Использование подхода с отбрасыванием части данных при перегрузке требует дополнительных мер для обеспечения стабильности обучения.
Связь: Введение z-loss напрямую связано с необходимостью компенсировать риски численной нестабильности, возникающие при работе с топ-1 экспертом.
В нашей базе собрано 1 событие по теме «ST-MoE». Мы показываем все из них.