Автономные агенты ИИ: традиционные системы защиты не видят утечек данных

По данным Helpnetsecurity, в корпоративном секторе формируется новый класс угроз, связанный с автономными агентами искусственного интеллекта. Основное внимание индустрии традиционно сосредоточено на защите от внедрения промптов и взлома моделей, однако реальная уязвимость смещается на уровень данных. Агенты, работающие в распределенных средах, получают доступ к чувствительной информации, объединяют её и передают дальше без постоянного контроля человека. Это создает риск системного разглашения данных, который традиционные системы защиты информации не способны отследить.

Гиди Коэн (Gidi Cohen), генеральный директор компании Bonfy AI, указывает на то, что организации фактически действуют вслепую. Агенты функционируют в экосистемах Microsoft, Google, Salesforce и через MCP-серверы, часто не привязываясь к конкретным сессиям пользователей. Существующие инструменты защиты данных (DLP) и управления доступом (DSPM) не рассчитаны на мониторинг многошаговых цепочек вызовов языковых моделей. В результате компании не знают, какой контент попадает в агентов, какие инструменты получают эти данные и где оказываются сгенерированные результаты, содержащие персональную или коммерческую тайну.

Переход от контроля модели к защите потока данных

Стратегия безопасности должна меняться: вместо попытки предсказать поведение динамичного агента необходимо устанавливать жесткие границы для самих данных. Традиционная модель оценки рисков, основанная на анализе одного приложения с предсказуемым радиусом воздействия, больше не работает. Агент, способный просматривать веб-ресурсы, записывать файлы, вызывать API и отправлять письма, создает цепочку событий, где каждый шаг потенциально уязвим.

Эксперты предлагают перестроить подход к моделированию угроз, сосредоточившись на четырех ключевых элементах:

• Данные, на которых базируется агент (grounding).
• Инструменты и серверы, которые агент может вызывать.
• Пользователи и системы, от имени которых действует агент.
• Каналы, куда попадают результаты работы агента.

Компания Bonfy AI реализует этот подход через три направления. Во-первых, контролируется доступ к данным на этапе их подготовки, используя контекстные метки и правила доступа. Во-вторых, мониторится весь трафик: входящие запросы, извлеченные документы, письма и обновления в SaaS-системах. В-третьих, агенты получают возможность в реальном времени запрашивать проверку безопасности перед выполнением действия. Это позволяет выявлять инциденты конфиденциальности и целостности данных непосредственно в момент их возникновения, а не постфактум.

i

Создано специально для ASECTOR

Концептуальное изображение

Аудит промежуточных состояний и цепочек делегирования

Критическая проблема современных систем заключается в отсутствии аудита промежуточных этапов работы агентов. Когда агент последовательно использует несколько инструментов, каждый вызов становится событием передачи данных. Например, контекст может перейти от календаря к CRM, а затем в сервис отправки писем. Большинство решений безопасности фокусируется на конфигурации (какие инструменты разрешены), игнорируя фактическое содержание, перемещающееся между ними.

Решение заключается в превращении каждого промежуточного состояния в точку аудита. Платформа Bonfy AI выступает в роли MCP-сервера, который агент может вызывать в процессе принятия решений. Вместо автоматической передачи данных от одного инструмента к другому, система запрашивает подтверждение безопасности с учетом владельца данных и конечного пункта назначения. Каждое такое действие фиксируется: что было проверено, какие политики сработали, какие сущности (клиенты, сотрудники) затронуты и какое решение принято. Это формирует полный журнал аудита, позволяющий ответить на вопрос о том, какие агенты передавали данные клиентов на внешние серверы за конкретный период.

Особую сложность представляют многоагентные системы, где один агент координирует работу других. В текущих реализациях часто предполагается, что если главный агент безопасен, то и подчиненные ему тоже. Однако это создает риск компрометации всей цепочки через один скомпрометированный подчиненный агент. Безопасный подход требует рассматривать каждый вызов подчиненного агента как потенциально ненадежный. Координирующий агент должен проверять входные и выходные данные подчиненных через систему безопасности перед тем, как принять или переслать результат. Это предотвращает попадание чужих данных или нарушающих политику информации в общий рабочий процесс.

Управление рисками в условиях быстрой смены моделей и инструментов

Экосистема плагинов и сторонних инструментов для агентов растет быстрее, чем возможности их проверки. Каждый MCP-сервер или плагин фактически становится микро-поставщиком в цепочке поставок ИИ, получая доступ к чувствительным данным. Организации часто доверяют этим инструментам без должного аудита, что создает риски кризиса в цепочке поставок. Безопасность должна смещаться с контроля конфигурации на контроль содержимого: что именно отправляется на внешний сервер, к каким юрисдикциям относится и соответствует ли это бизнес-контексту.

Дополнительным фактором неопределенности является обновление моделей поставщиками. Изменения в весах модели или слоях безопасности могут происходить незаметно, меняя поведение агента без изменений в коде организации. Команды безопасности должны рассматривать модель как динамический элемент цепочки поставок. Стратегия должна быть независимой от конкретной версии модели: политики защиты данных должны применяться к контенту, а не к конкретной версии ИИ. Это обеспечивает стабильный, аудируемый слой защиты, который работает независимо от того, какая модель стоит за интерфейсом в конкретный момент времени.

Для руководителей по информационной безопасности (CISO), сталкивающихся с давлением бизнеса по внедрению ИИ, рекомендуется изменить порядок действий. Вместо модели «внедрить сначала, разобраться с рисками потом», необходимо начать с обеспечения видимости. Первый этап должен включать инструментацию каналов, через которые агенты будут читать и писать данные, чтобы понять, к какой чувствительной информации они получат доступ. Только на основе этих данных можно выстроить диалог с бизнесом о том, где автоматизация безопасна, а где требуется контроль человека.

Внедрение таких мер позволяет сказать «да» масштабному использованию ИИ, сохраняя при этом контроль над данными. Ключевым становится не запрет технологий, а создание системы, где агенты могут самостоятельно запрашивать проверку безопасности перед каждым шагом. Это формирует основу для устойчивого развития ИИ-инфраструктуры, где риски управляются через прозрачность и контроль данных, а не через ограничения на инновации. Ситуация требует детального анализа текущих потоков данных и пересмотра архитектуры безопасности с учетом новых реалий автономных агентов.

Новая реальность безопасности: когда агент становится инсайдером

Корпоративный сектор столкнулся с фундаментальным сдвигом: угроза исходит не от внешних взломщиков, пытающихся пробить периметр, а от собственных инструментов, работающих в штатном режиме. Автономные агенты искусственного интеллекта, призванные ускорить бизнес-процессы, стали активными участниками экосистемы, способными перемещать данные между сервисами без постоянного контроля человека. Традиционные системы защиты информации (DLP) и управления доступом (DSPM) настроены на фиксацию статических событий, таких как отправка файла на личную почту. Они не видят многошаговых сценариев, где агент легитимно запрашивает данные в одном сервисе и так же легитимно передает их в другой, создавая скрытый канал утечки.

Главная проблема заключается в том, что агент не привязан к сессии конкретного пользователя. Он работает в фоновом режиме, объединяя контексты из календарей, CRM, почтовых ящиков и облачных хранилищ. Это создает риск системного разглашения, когда персональные данные или коммерческая тайна покидают защищенный контур не через взлом, а через штатную работу алгоритма, который не понимает ценности информации, с которой оперирует. Компании фактически действуют вслепую, полагаясь на то, что подключение к доверенным платформам вроде Microsoft или Salesforce гарантирует безопасность. Однако реальность показывает обратное: доверие к вендору не покрывает риски неконтролируемой логики агента.

Важный нюанс: Реальная угроза исходит не от злонамеренного кода, а от избыточной автономности, когда агент выполняет логически верные действия, приводящие к нарушению политики конфиденциальности, оставаясь невидимым для систем мониторинга.

Экономика ошибок: как ИИ масштабирует человеческий фактор

Внедрение ИИ-агентов меняет структуру внутренних угроз. Если раньше риск ошибки сотрудника был локальным, то теперь он становится системным. Исследования показывают, что внедрение искусственного интеллекта в почтовые системы и документы увеличивает подверженность организаций внутренним угрозам на 94% [!]. Автономные агенты и машинные идентичности, действующие без постоянного человеческого надзора, становятся самостоятельными инсайдерами. Они способны распространять ошибки быстрее, чем традиционные средства защиты успевают среагировать.

Маленькая оплошность сотрудника, например, неправильная настройка прав доступа или небрежное формулирование запроса, перерастает в масштабный инцидент с ущербом в миллионы долларов [!]. Агент, получивший доступ к чувствительным данным, может мгновенно обработать их и отправить в неверное место, умножив эффект ошибки на скорость работы алгоритма. Это подтверждается инцидентами, когда стремление к скорости и экономии за счет замены квалифицированных специалистов на автономные системы приводило к критическим сбоям. Например, предоставление ИИ-агентам административных прав без должного надзора вызвало 13-часовой сбой сервиса AWS Cost Explorer и остановки ритейл-платформ [!].

Парадокс автоматизации заключается в том, что желание снизить издержки через сокращение персонала и внедрение ИИ вынуждает компании возвращаться к более сложным и дорогим практикам контроля. Бизнес вынужден вводить обязательное согласование изменений со стороны старших инженеров и восстанавливать строгий человеческий контроль над кодом, так как полная автономия систем пока не обеспечивает необходимой надежности [!]. ИИ не заменяет людей, а требует их переквалификации в «надзирателей за агентами», создавая новую, более затратную модель управления рисками.

Старые дыры и новые инструменты: эффект лупы

Искусственный интеллект не создает принципиально новые уязвимости, но он мгновенно вскрывает и масштабирует старые, давно забытые проблемы в защите данных. Инцидент с Microsoft Copilot наглядно продемонстрировал этот эффект: система не обходила механизмы контроля доступа, но делала видимыми уже существующие уязвимости в корпоративных данных [!]. Агент, анализируя массивы информации, связывал разрозненные данные из архивов SharePoint и OneDrive, превращая скрытые риски в реальные угрозы утечки.

Проблема усугубляется тем, что многие компании внедряют ИИ-инструменты без предварительного аудита всего информационного поля. Агент, получивший доступ к «старым дырам» — устаревшим правам доступа, забытым черновикам или незащищенным файлам — начинает работать с ними как с легитимными данными. В одном из случаев AI-ассистент Microsoft случайно анализировал черновики и отправляемые письма, что привело к утечке конфиденциальной информации [!]. Это подчеркивает, что безопасность использования платформы возможна только при наличии надежной базы защиты и предварительном аудите всего массива данных компании.

Риски возрастают, когда агенты получают широкие системные полномочия, что делает их потенциально опасными даже при работе в операционных системах нового поколения. Microsoft тестирует концепцию «агентной ОС» Windows, где ИИ будет выполнять действия от имени пользователя, управляя файлами и приложениями. Однако такие агенты уже демонстрируют риски непреднамеренных ошибок, включая удаление важных данных, как это происходило в компаниях Google и Replit [!]. Даже при наличии продвинутых механизмов самокоррекции, как в модели Google Gemini 3, делегирование действий ИИ без строгого контроля приводит к критическим инцидентам, включая удаление данных пользователя [!].

Важный нюанс: Безопасность в эпоху агентов перестает быть функцией IT-отдела и становится бизнес-процессом, где каждый шаг передачи данных требует валидации, иначе автоматизация превращается в неконтролируемый канал утечки.

Архитектура контроля: от конфигурации к семантике

Для решения этих проблем необходим переход от контроля конфигурации к семантическому анализу содержимого в реальном времени. Существующие системы безопасности, спроектированные для человеческого актора, неэффективны против семантических утечек и действий нечеловеческих идентификаторов [!]. Технологии развиваются с опережением, а механизмы контроля отстают, создавая фундаментальный разрыв: в 94% случаев отсутствует видимость действий агентов, а традиционные методы не обнаруживают перефразированную конфиденциальную информацию [!].

Стратегия защиты должна строиться на независимом слое, который проверяет контент, а не версию программного обеспечения или доверие к вендору. Поставщики облачных сервисов обновляют веса моделей и алгоритмы безопасности незаметно для клиента. То, что работало безопасно вчера, может изменить поведение агента сегодня. Поэтому политики защиты данных должны применяться к самому контенту, обеспечивая стабильный, аудируемый слой защиты, который работает независимо от того, какая модель стоит за интерфейсом в конкретный момент времени.

Решение заключается в превращении каждого промежуточного состояния в точку аудита. Платформы нового поколения предлагают внедрить точку контроля в сам процесс принятия решений агентом. Система анализирует владельца данных, конечный пункт назначения и контекст операции, прежде чем разрешить передачу. Это позволяет сформировать полный журнал аудита, который отвечает на сложные вопросы: какие агенты передавали данные клиентов на внешние серверы за последний месяц и с какой целью. В многоагентных системах это особенно важно, так как позволяет изолировать сбои и предотвратить каскадное распространение ошибок.

Конкуренция между скоростью внедрения инноваций и необходимостью защиты данных решается через прозрачность. Компании, которые смогут быстрее внедрить механизмы контроля содержимого, получат конкурентное преимущество. Они смогут безопасно использовать мощь автономных агентов, не рискуя репутацией и данными клиентов. Это требует пересмотра архитектуры безопасности, где приоритет отдается мониторингу потоков данных в реальном времени, а не постфактумному анализу инцидентов.

Успех зависит от способности организаций увидеть невидимое. Автономные агенты — это мощный инструмент, но только при условии, что их действия прозрачны и контролируются на уровне каждого байта передаваемой информации. Игнорирование этой реальности ведет к накоплению скрытых рисков, которые могут проявиться в самый неподходящий момент, превратив инструмент эффективности в источник системных потерь.