Московский междисциплинарный медицинский университет

МММU как инструмент маркетинга крупных моделей ИИ

МММU — один из бенчмарков, используемых для оценки способностей крупных языковых моделей, включая понимание изображений. Он вошёл в список тестов, на которых компания OpenAI заявила рекордные результаты для модели GPT-5. Однако исследование Оксфордского интернет-института показало, что подавляющее большинство бенчмарков, включая MMMU, не соответствуют строгим научным стандартам. Многие из них не дают чётких определений измеряемых концепций или используют неслучайные, удобные выборки данных. Это делает объективное сравнение моделей затруднительным.

Подробнее →