Научные статьи

Научные статьи ICML 2026 не выдержали масштабной проверки на воспроизводимость

Более трети работ, принятых на конференции ICML 2026, не прошли проверку автономными программными агентами в ходе крупнейшего в истории аудита машинного обучения. Из 2226 проверенных научных статей 51% имели хотя бы одно подтвержденное утверждение, однако 23% содержали опровергнутые данные, а в 49 случаях все выводы оказались ложными. Эксперимент выявил, что ускорение публикации за счет ИИ привело к росту количества ошибок, которые не были замечены рецензентами из-за нехватки времени.

Событие: За 19 дней более 1200 участников с помощью ИИ-агентов создали почти 7000 отчетов по проверке 2226 научных статей конференции ICML 2026.

Риск: В 49 случаях все утверждения в научных статьях были опровергнуты, а в 242 работах разные команды пришли к противоположным выводам из-за зависимости от условий эксперимента.

Фактор: Экспоненциальный рост числа научных статей до 6300 единиц обусловлен использованием ИИ-агентов для ускорения написания кода, что привело к несоразмерному количеству рецензентов.

Эффект: В ходе проверки были выявлены фундаментальные ошибки в доказательствах и расхождения между теоретической частью и кодом в научных статьях, ранее получивших высокие оценки.

Инсайт: Полная автоматизация проверки научных статей невозможна, так как наиболее надежные результаты достигаются в сценарии «человек в контуре» с участием эксперта.

Подробнее →