American Invitational Mathematics Examination 2024

Примеры, подобранные для удобства, снижают надёжность тестов ИИ

AIME — это набор задач, используемый для оценки математических способностей моделей, однако его эффективность под сомнением. В исследовании отмечается, что задачи AIME 2025, например, содержат числа, подобранные так, чтобы упрощать расчёты, что делает их непредставительными для оценки реальных способностей моделей. Такой подход, называемый «удобной выборкой», встречается в 27% из проанализированных тестов и снижает объективность бенчмарков. Использование таких задач в маркетинговых заявлениях компаний, включая OpenAI, вызывает вопросы по поводу научной обоснованности их утверждений.

Подробнее →