ИИ-агенты под угрозой: эксперты раскрывают новые риски безопасности
Конференция Zenity обозначила, что безопасность ИИ-агентов остаётся нерешённой задачей из-за отсутствия готовых фреймворков и фокуса на минимизацию ущерба вместо его предотвращения. Эксперты привели пример атаки на Amazon Q, связанной с доступом агентов к системным ресурсам, и предложили меры вроде ограничения инструментов и настройки параметров для снижения уязвимостей.
По данным материалов конференции AI Agent Security Summit, организованной компанией Zenity, безопасность ИИ-агентов остается не до конца решенной проблемой. Вступительное выступление CTO Zenity Майкла Баргури подчеркнуло, что отрасль находится на начальном этапе развития, и отсутствует готовый фреймворк для обеспечения защиты. Эксперты отметили, что текущие подходы сосредоточены на минимизации ущерба, а не на его предотвращении.
Ключевые уязвимости и подходы к решению
Иоганн Рехбергер, независимый исследователь безопасности и директор по «красным командам» в Electronic Arts, выделил, что многие разработчики ИИ-агентов уделяют приоритетную важность «безопасности контента» — предотвращению нежелательных реакций моделей. Однако, по его словам, реальная угроза возникает, когда агенты получают доступ к системным ресурсам. Примером стали атаки на расширение Amazon Q для VS Code, где злоумышленники использовали режим автономного выполнения команд для кражи данных.
Райан Рэй (Slalom) определил ИИ-агенты как «системы, преследующие сложные цели при минимальном надзоре», что само по себе создает риск. Рехбергер предложил рассматривать их как «вредоносных внутренних агентов», способных действовать быстрее, чем человек. Один из способов ограничения — настройка параметров, например, отключение автоматического одобрения действий в VS Code через параметр chat.tools.autoApprove
Стратегии снижения рисков
Директор Corridor Джек Кэблл подчеркнул, что лучшие меры защиты не зависят от ИИ. Он привел пример ограничения доступа агентов к банковским системам, как это сделал Anthropics. «Меньше инструментов — меньше атакующей поверхности», — резюмировал он.
Нейт Ли (Trustmind) отметил неопределенность поведения ИИ-агентов и проблему «инъекции подсказок» (prompt injection). Увеличение контекста и инструментов, по его словам, резко повышает уязвимости.
Актуальные направления развития
На конференции также обсуждались инициативы крупных компаний: Google объявил о «сезоне поиска уязвимостей» с максимальным вознаграждением $30 тыс., Cisco представила маршрутизатор для объединения данных, IBM обновит серверы с акселераторами Spyre AI.
Баланс между функциональностью и безопасностью ИИ-агентов: вызовы и сценарии развития
Скрытые мотивы игроков: борьба за рынок и доверие
Разработка ИИ-агентов сталкивается с дилеммой: чем больше автономности и инструментов, тем выше риск утечек и атак. Однако компании, такие как Amazon или Google, стремятся максимизировать функциональность, чтобы удерживать конкурентное преимущество. Например, ограничение доступа агентов к банковским системам (как у Anthropics) снижает уязвимости, но может сделать продукт менее привлекательным для бизнеса. Это создает внутреннее противоречие: безопасность требует жертвовать удобством, а рынок ждет масштабных возможностей.
Важный нюанс: Углубление автоматизации ИИ-агентов увеличивает их полезность, но одновременно расширяет атакующую поверхность. Это заставляет разработчиков выбирать между инновациями и контролем рисков.
Цепочки последствий: от регулирования до рыночных позиций
Текущие подходы к защите ИИ-агентов — минимизация ущерба, а не его предотвращение — могут стать стандартом, если отрасль не разработает унифицированные фреймворки. Это влияет на рынок: компании, которые первыми внедрят строгие меры безопасности, получат доверие клиентов, но рискуют отстать в скорости внедрения решений. Например, инициатива Google по «сезону поиска уязвимостей» с вознаграждением $30 тыс. может ускорить обнаружение проблем, но создаст барьер для мелких разработчиков, не имеющих ресурсов на кибер-гайдов.
Скрытые победители:
Крупные корпорации, способные интегрировать дорогостоящие меры безопасности (IBM, Cisco), усилят позиции на рынке. Малые компании и стартапы, напротив, столкнутся с давлением стандартизации, что может замедлить инновации.
Российский контекст: регуляторные вызовы и локальные решения
Для российских компаний, внедряющих ИИ-агенты, ключевой задачей станет адаптация международных практик безопасности под локальные нормы. Например, ограничение доступа агентов к критическим системам (как в случае Anthropics) может стать приоритетом, учитывая риски утечек данных в условиях повышенного внимания к кибербезопасности. Однако отсутствие готовых фреймворков создает риск фрагментации решений: разработчики будут вынуждены создавать свои методы защиты, что увеличит затраты и сроки внедрения.
Российским бизнесам стоит сосредоточиться на минимальных наборах инструментов для агентов и регулярном аудите их поведения. Это снизит атакующую поверхность без потери функциональности.
Важный нюанс: В ближайшие 18–24 месяца можно ожидать появление отраслевых стандартов для ИИ-агентов, схожих с PCI DSS для финансовых систем. Это изменит подход к разработке, сделав безопасность обязательным этапом.
Если крупные игроки (Google, Microsoft) объявят обязательные требования к безопасности ИИ-агентов, это запустит волну регулирования и пересмотра архитектурных решений.
