Google DeepMind выделил $10 млн на безопасность взаимодействия ИИ-агентов

Google DeepMind совместно с фондами Schmidt Sciences, Cooperative AI Foundation, агентством ARIA и Google.org объявляет о выделении $10 млн на исследования безопасности. Гранты предназначены для ученых со всего мира, которые изучат риски, возникающие при массовом взаимодействии автономных ИИ-агентов от разных разработчиков. Программа нацелена на предотвращение непредсказуемого поведения в цифровой среде, где миллионы программ будут самостоятельно торговать, договариваться и обмениваться данными.

Важный нюанс: Финансирование направлено не на создание новых моделей, а на изучение «коллективного разума» ИИ, который может проявлять свойства, не заложенные в отдельные программы.

Проблема непредсказуемого поведения групп агентов

Сейчас большинство тестов безопасности проверяют ИИ-модели по отдельности. Однако в ближайшем будущем миллионы агентов, созданных разными компаниями, начнут взаимодействовать друг с другом. В таких условиях возникают новые, «эмерджентные» (возникающие) свойства, которые невозможно предсказать, анализируя одного агента.

Исследователи отмечают отсутствие инструментов для мониторинга таких переходов. Взаимодействие автономных систем может привести к:

• Внезапным всплескам экономической активности.
• Новым киберугрозам, которые не были заложены в код изначально.
• Нестабильности в работе цифровых экосистем.

Цель гранта — создать методы для понимания и управления этими системными рисками до того, как они станут критическими.

Стоит учесть: Сложность взаимодействия агентов уже опережает существующие модели безопасности, что требует срочного масштабирования исследований.

Четыре направления финансирования

Программа приглашает академических и независимых исследователей представить предложения в четырех ключевых областях. Приоритет отдается проектам, способным создать прозрачные и надежные стандарты для всей индустрии.

1. Песочницы и тестовые полигоны: Создание реалистичных виртуальных сред (рынков, экосистем) для безопасного тестирования взаимодействия агентов.
2. Наука об сетях агентов: Изучение того, как возникают коллективные способности, почему сети становятся нестабильными и как обнаруживать опасные свойства на уровне популяции.
3. Укрепление инфраструктуры: Проверка протоколов идентификации, репутации и обязательств, необходимых для безопасного обмена данными между платформами.
4. Надзор и контроль: Разработка методов мониторинга развернутых групп агентов и предотвращения коллективного вреда в масштабе.

Операционные последствия и практические аспекты

• Необходимость новой инфраструктуры: Для реализации проектов потребуются мощные вычислительные ресурсы для симуляции сложных сценариев, что может увеличить затраты на исследования.
• Смена парадигмы тестирования: Компании, разрабатывающие ИИ, могут столкнуться с необходимостью пересмотра текущих протоколов безопасности, добавив в них проверку на групповое взаимодействие.
• Риск задержек внедрения: Ужесточение требований к безопасности мульти-агентных систем может замедлить вывод на рынок автономных решений, пока не будут сформированы надежные стандарты.
• Глобальная координация: Поскольку угрозы носят системный характер, успех зависит от объединения усилий независимых лабораторий, а не от работы одного крупного игрока.

Сроки и условия участия

Дедлайн для подачи заявок установлен на 8 августа 2026 года. Ожидается, что победители будут объявлены осенью 2026 года. Детали технических требований и процесс подачи заявок доступны на официальном портале программы.

Важно: Гранты ориентированы на фундаментальные исследования, а не на коммерческую разработку продуктов, что позволяет сосредоточиться на долгосрочной стабильности ИИ-экосистемы.