Кодовые агенты

Кодовые агенты провели крупнейший в истории аудит воспроизводимости научных статей ICML 2026

Автономные программные агенты стали центральным инструментом масштабного эксперимента, в ходе которого было перепроверено более 2200 работ конференции ICML 2026. Используя возможности автоматизации, эти системы за 19 дней сгенерировали почти 7000 отчетов, выявив несоответствия в утверждениях и коде, что позволило оценить реальное качество принятых исследований.

Событие: За 19 дней работы более 1200 участников с помощью кодовых агентов проверили 2226 статей и создали почти 7000 отчетов о воспроизводимости.

Эффект: Благодаря работе агентов было выявлено, что 23% проверенных статей содержат опровергнутые данные, а в 49 случаях все утверждения оказались ложными.

Фактор: Экспоненциальный рост числа публикаций на конференции, вызванный ускорением написания кода ИИ-агентами, привел к дефициту времени у рецензентов для ручной проверки.

Риск: Полная автоматизация проверки невозможна, так как кодовые агенты способны застревать в циклах, ошибаться в нормализации данных или неправильно интерпретировать масштаб.

Инсайт: Наиболее надежные результаты достигаются в сценарии «человек в контуре», где агент выполняет рутинную проверку кода, а исследователь принимает финальные решения.

Подробнее →