Massive Multitask Language Understanding
Massive Multitask Language Understanding в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
2026
24 марта
Снижение точности фактических знаний при использовании ролевых инструкций
Бенчмарк MMLU подтвердил, что назначение модели роли эксперта снижает точность ответов в задачах, опирающихся на предобученные знания, такие как математика и программирование. В тестировании модель с директивой «эксперт» показала результат 68,0%, уступив базовой версии без ролевой инструкции, которая достигла 71,6%. Это ухудшение происходит потому, что активация режима следования инструкциям отвлекает вычислительные ресурсы от извлечения фактов из базы данных модели.
Massive Multitask Language Understanding имеет 1 запись событий в нашей базе. Объединили похожие карточки: Massive Multitask Language Understanding; MMLU тест; MMLU-тест и другие.