Проверка результатов машинного обучения

Проверка результатов машинного обучения выявила критическую невоспроизводимость трети статей ICML 2026

Масштабный аудит, проведенный в июле и августе 2026 года, показал, что около трети работ, принятых на конференции ICML, не выдержали перепроверки с помощью автономных программных агентов. Проверка результатов машинного обучения стала центральным элементом эксперимента, в ходе которого более 1200 участников проанализировали 2226 статей, создав почти 7000 отчетов за 19 дней. Исследование продемонстрировало, что воспроизводимость — это не бинарное состояние, а спектр, где значительная часть утверждений либо опровергнута, либо зависит от условий эксперимента.

Событие: В ходе крупнейшего в истории аудита машинного обучения было проверено 36 000 утверждений из 2226 статей, что позволило выявить 49 работ с полностью ложными данными.

Исследование: Проверка результатов машинного обучения с использованием кодовых агентов выявила системные ошибки, включая расхождения между теоретическими формулами и реализованным кодом, а также неучтенные погрешности в доказательствах устойчивости алгоритмов.

Фактор: Экспоненциальный рост числа публикаций и ускорение написания кода ИИ-агентами при непропорциональном увеличении количества рецензентов создали условия, при которых многие математические доказательства не подвергались детальной проверке людьми.

Инсайт: Проверка результатов машинного обучения показала, что полная автоматизация процесса невозможна, так как наиболее надежные результаты достигаются только в сценарии «человек в контуре», где эксперт корректирует работу агентов и оценивает качественные аспекты.

Эффект: Выявленные ошибки привели к позитивной реакции научного сообщества, где авторы подтвердили находки и начали подготовку исправленных версий работ, что подтверждает эффективность симбиоза людей и агентов в рецензировании.

Подробнее →