MMLU Pro
MMLU Pro в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Упоминается вместе:
Календарь упоминаний:
MMLU-Pro включен в число бенчмарков для автоматической конвертации данных EEE
Суть: MMLU-Pro стал одним из четырех ключевых тестов, для которых разработан автоматический конвертер данных из формата EEE в YAML для Hugging Face.
Событие: Инструменты агрегации данных уже охватили результаты тестирования MMLU-Pro в рамках централизованного хранилища, объединяющего более 229 000 записей.
Фактор: Для MMLU-Pro внедрена система фиксации метаданных, включающая версию модели и настройки генерации, что устраняет разброс оценок в разных отчетах.
Эффект: Публикация результатов MMLU-Pro теперь проходит этап аудита на наличие дубликатов и расхождений перед отображением на страницах моделей.
Успех NVFP4 в тестах MMLU-Pro
Модель, обученная с использованием 4-битного формата NVFP4, показала на тестах MMLU-Pro 5-shot результат в 62.58%, что на 0.04% ближе к базовой версии на FP8 (62.62%). Это подтверждает, что NVFP4 сохраняет высокую точность выполнения задач при сниженных вычислительных затратах. Эксперименты проводились на модели объёмом 12 миллиардов параметров, обученной на 10 триллионах токенов. Разница в точности не привела к снижению производительности, что демонстрирует эффективность формата в условиях низкой точности.
MMLU-Pro усиливает галлюцинации моделей
MMLU-Pro — один из популярных бенчмарков, используемых для оценки языковых моделей, — поощряет галлюцинации, поскольку 9 из 10 основных оценок в отрасли работают по двоичной системе. В этой системе модель получает наказание за ответ «я не знаю», но поощряется за уверенные, даже ошибочные ответы. Это стимулирует ИИ генерировать ложную информацию, чтобы избежать потери баллов. Анализ показал, что подобные подходы к оценке усугубляют проблему генеративных ошибок, делая её системной.
В нашей базе собрано 3 события по теме «MMLU Pro». Мы показываем все из них.
Объединили похожие карточки: MMLU Pro; MMLU-Pro и другие.