Переход к агентному ИИ: 64% компаний потеряли миллионы из-за сбоев в защите

По данным консилиума AIUC-1 Consortium, подготовленного при участии более 40 руководителей по безопасности и специалистов из лаборатории доверенного ИИ Стэнфордского университета, корпоративный сектор столкнулся с фундаментальным разрывом между функциональностью автономных систем и возможностями их защиты. Отчет фиксирует переход от пилотных проектов к полноценным производственным системам, которые обрабатывают данные клиентов, выполняют транзакции и интегрируются в критическую инфраструктуру. Исследования показывают, что 64% компаний с годовым оборотом свыше $1 млрд уже потеряли более $1 млн из-за сбоев в работе искусственного интеллекта. Каждая пятая организация зафиксировала инцидент, связанный с использованием теневой ИИ, когда сотрудники применяют неавторизованные инструменты без контроля со стороны службы безопасности.

Три ключевых вектора угрозы для бизнеса

Анализ ситуации в 2025 году выделяет три доминирующих направления риска, требующих немедленного внимания руководителей и технических специалистов. Первым и наиболее сложным является проблема агентного ИИ. Системы эволюционировали от простых помощников, отвечающих на запросы, к автономным агентам, способным выполнять многоступенчатые задачи, вызывать внешние инструменты и принимать решения без пооперационного подтверждения человеком. Это создает условия для сбоев даже при отсутствии внешнего злоумышленника: агент с избыточными правами доступа может нанести ущерб в ходе обычной работы. Опросы показывают, что 80% организаций сталкивались с рискованным поведением агентов, включая несанкционированный доступ к системам и утечку данных. При этом лишь 21% руководителей обладают полной видимостью прав доступа, используемых инструментов и паттернов работы с данными.

Второй критический аспект — проблема видимости процессов. В 2025 году 63% сотрудников, использующих ИИ-инструменты, вставляли конфиденциальную информацию, включая исходный код и записи клиентов, в личные аккаунты чат-ботов. Среднее предприятие использует около 1200 неофициальных приложений на базе ИИ, при этом 86% организаций не имеют представления о потоках данных в этих системах. Ущерб от инцидентов с теневым ИИ в среднем превышает затраты на стандартные киберинциденты на $670 000, что обусловлено задержкой обнаружения и сложностью определения масштаба утечки.

Третий вызов связан с доверием к системе. В 2025 году атаки через внедрение подсказок (prompt injection) перешли из разряда теоретических исследований в регулярные инциденты на производственных контурах. Список топ-10 уязвимостей LLM от OWASP за 2025 год возглавляет именно этот тип угрозы. Проблема заключается в неспособности больших языковых моделей надежно разделять инструкции и входные данные. Поскольку 53% компаний уже используют генерацию с дополнением извлечения данных или агентные конвейеры, поверхность для атак значительно расширяется.

Недостаточность текущих стандартов безопасности

Существующие регуляторные рамки, такие как NIST AI RMF и стандарт ISO 42001, предоставляют организационную структуру управления рисками, включая комитеты и требования к документации. Однако они не содержат конкретных технических мер, необходимых для защиты агентных развертываний, таких как валидация параметров вызова инструментов, логирование инъекций подсказок или тестирование изоляции многоагентных систем. Лаборатория доверенного ИИ Стэнфорда отмечает отсутствие масштабных долгосрочных исследований, сравнивающих частоту инцидентов у организаций, применяющих технические стандарты, и тех, кто полагается лишь на общую политику управления.

Исследования подтверждают, что одних только защитных механизмов на уровне модели недостаточно: атаки через дообучение обходили защиту в 72% случаев для модели Claude Haiku и в 57% случаев для GPT-4o. Для обеспечения безопасности требуются специфические технические меры: валидация входных данных, контрольные точки на уровне действий и прозрачность цепочек рассуждений. Эксперты проводят параллель с внедрением многофакторной аутентификации в классической кибербезопасности, где конкретные аудиторские технические меры снижают риск взлома эффективнее, чем общие политические обязательства. Ранние последователи технических стандартов отмечают ускорение циклов закупок и снижение трения при развертывании агентов в регулируемых средах.

Стратегия непрерывного тестирования и контроля

Для минимизации рисков отчет рекомендует интеграцию непрерывного красного командования (adversarial testing) в операционную деятельность агентов. Эксперты предлагают модель, сочетающую настройки платформы по умолчанию, автоматизацию и точечное привлечение экспертов, вместо создания крупных специализированных отделов. Базовые защитные механизмы должны быть встроены непосредственно в платформу: изолированное выполнение инструментов, учетные данные с ограниченным сроком действия, принудительное исполнение политик во время выполнения и комплексное аудит-логирование не должны требовать индивидуальной инженерной разработки.

i

Создано специально для ASECTOR

Концептуальное изображение

Тестирование на устойчивость к атакам необходимо интегрировать в процессы непрерывной интеграции и доставки (CI/CD). Обновления моделей, изменения подсказок или перенастройка агентов должны автоматически запускать заранее определенные наборы атак. Это позволит человеческим экспертам фокусироваться на анализе значимых изменений, а не на ручном повторении сценариев. Рекомендуется ранжирование агентов по уровню риска: системы с доступом к чувствительным данным или производственным средам требуют непрерывного тестирования и строгих контрольных точек, тогда как низко рискованные агенты могут использовать стандартизированные меры и выборочную проверку.

Автоматизация процесса выбора атак позволяет сократить вычислительные затраты на 42–58% по сравнению с базовыми подходами при одновременном расширении покрытия уязвимостей. Организациям с ограниченными ресурсами необходимо начинать с автоматизированного непрерывного тестирования, привязанного к конвейерам развертывания, внедрять защитные механизмы во время выполнения до выхода агента в производство и использовать ручное красное командование выборочно для критически важных проектов. В сфере идентификации и облачной безопасности переход от декларативных политик к исполняемым мерам, таким как принцип наименьших привилегий и токены с ограниченным сроком действия, существенно сократил горизонтальное перемещение атакующих и ограничил масштаб последствий инцидентов.

Компании, внедряющие технические меры защиты на ранних этапах, получают преимущество в виде более предсказуемых процессов аудита и готовности к работе в регулируемых отраслях. Конкретные примеры внедрения структурированных контролей безопасности демонстрируют снижение операционных рисков и повышение надежности бизнес-процессов, зависящих от автономных систем.

Цена автономности: когда алгоритмы становятся источником убытков

Переход корпоративного сектора от пилотных проектов к полноценным производным системам искусственного интеллекта создает иллюзию технологического рывка, скрывая за собой фундаментальный разрыв между функциональностью и безопасностью. Отчет консорциума AIUC-1 Consortium фиксирует системный кризис управления рисками: бизнес перешагнул порог, за которым алгоритмы больше не только обрабатывают запросы, а самостоятельно принимают решения, инициируют транзакции и управляют критической инфраструктурой. В этой новой реальности основной угрозой становится не внешний хакер, а сама архитектура доверия к автономным агентам.

Важный нюанс: Основной источник финансовых потерь смещается от внешних кибератак к внутренним ошибкам логики и избыточным правам доступа, которые система получает в рамках штатного режима работы.

Эпоха неконтролируемой автономности

Самый значимый сдвиг происходит в природе взаимодействия человека и машины. Если ранее ИИ выступал в роли пассивного инструмента, то теперь он трансформируется в активного агента, способного выполнять многоступенчатые задачи без постоянного надзора. Это создает уникальную ситуацию: агент с широкими правами доступа может нанести ущерб бизнесу следуя своей инструкции, но интерпретируя её некорректно или попадая в ловушку противоречивых данных. Опросы показывают, что 80% организаций сталкивались с рискованным поведением таких систем, включая несанкционированный доступ к ресурсам и утечку информации.

Проблема усугубляется отсутствием прозрачности. Лишь 21% руководителей обладают полным пониманием того, какие права доступа используют их агенты и как именно они обрабатывают данные. Ситуация осложняется феноменом «теневого ИИ». Сотрудники, стремясь повысить эффективность своей работы, используют неавторизованные инструменты без контроля службы безопасности. Данные показывают, что 77% корпоративных данных уже попадают в сторонние ИИ-сервисы, включая платформы вроде ChatGPT, что значительно превышает ранее оцениваемые показатели ~ID58639~. В 18% случаев в такие системы передавалась информация о внутренних разработках, что создает прямой риск утраты интеллектуальной собственности [!].

Ущерб от таких инцидентов превышает затраты на стандартные кибератаки на $670 000, что связано с задержкой обнаружения утечки и сложностью оценки её масштаба. Среднее предприятие использует около 1200 неофициальных приложений на базе ИИ, при этом 86% организаций не имеют представления о потоках данных в этих системах.

Новые векторы атак: от ошибок к захвату агентов

Традиционная модель безопасности предполагала защиту периметра от внешних угроз. Однако агентный ИИ трансформирует угрозу из внешней во внутреннюю. Появляется новая категория рисков, связанная с AI double agent (двойным агентом ИИ). Злоумышленники могут захватывать легитимных агентов для нелегитимных целей, обходя традиционные меры безопасности [!].

Ключевым механизмом такой атаки становится memory poisoning (отравление памяти). При этом методе злоумышленник модифицирует контекст работы агента, изменяя его будущие ответы и поведение. Поскольку агент уже имеет легитимный доступ к системам компании, такие действия остаются незамеченными и выглядят как обычная работа алгоритма [!]. Это превращает «теневой ИИ» в инструмент атаки изнутри, когда сотрудник, пытаясь оптимизировать процесс, неосознанно создает канал для захвата корпоративных данных.

Юридические риски также выходят на первый план. Исследования Стэнфордского и Йельского университетов выявили, что коммерческие модели способны запоминать и воспроизводить защищенный авторский контент. В ходе экспериментов из некоторых моделей удавалось извлечь до 95% текста книг, что ставит под сомнение принцип «справедливого использования» [!]. Для корпоративного сектора это означает риск судебных исков за нарушение авторских прав, если агент случайно воспроизведет защищенный материал в ходе своей работы или при генерации ответов на основе внутренних данных.

Важный нюанс: Формальное соответствие стандартам безопасности не гарантирует защиту от технических уязвимостей, если отсутствуют конкретные механизмы валидации действий агентов в реальном времени.

Разрыв между политикой и технической реальностью

Существующие регуляторные рамки, включая NIST AI RMF и стандарт ISO 42001, предлагают организационную структуру управления рисками, но не содержат конкретных технических рецептов для защиты агентных систем. Эти документы требуют создания комитетов и документации, однако они не предписывают, как валидировать параметры вызова инструментов или тестировать изоляцию многоагентных сред. В результате компании оказываются с формально принятыми политиками безопасности, которые бессильны против реальных угроз.

Исследования подтверждают, что защита на уровне одной лишь модели недостаточна. Атаки через дообучение обходили защиту в 72% случаев для модели Claude Haiku и в 57% случаев для GPT-4o. Это демонстрирует, что полагаться исключительно на качество проприетарных моделей рискованно. Критическим вектором атак становится внедрение подсказок (prompt injection), которое возглавляет список уязвимостей OWASP для больших языковых моделей в 2025 году. Проблема кроется в неспособности моделей надежно разделять инструкции и входные данные. Поскольку 53% компаний используют генерацию с дополнением извлечения данных, поверхность для атак расширяется пропорционально количеству интегрированных внешних источников.

Важный нюанс: Дополнительным фактором риска становится использование пользовательских данных для дообучения моделей без достаточной прозрачности. Разработчики не обязаны активно удалять личную информацию из обучающих наборов, что создает риски утечки данных и нарушения конфиденциальности [!]. Это формирует замкнутый круг: чем больше агент работает с корпоративными данными, тем выше вероятность их попадания в общие модели обучения, которые затем могут быть использованы для атак или утечек.

Переход к непрерывному техническому контролю

Для минимизации рисков отчет рекомендует интеграцию непрерывного тестирования на устойчивость (adversarial testing) непосредственно в операционную деятельность. Вместо создания крупных специализированных отделов предлагается модель, сочетающая настройки платформы по умолчанию, автоматизацию и точечное привлечение экспертов. Базовые защитные механизмы должны быть встроены в платформу: изолированное выполнение инструментов, учетные данные с ограниченным сроком действия и принудительное исполнение политик во время выполнения.

Важно отметить, что ИИ не заменяет человеческую экспертизу в обеспечении безопасности кода. Инструменты анализа уязвимостей и предложения исправлений требуют подтверждения от человека, и ни одно изменение не должно применяться без одобрения разработчика [!]. Переход от декларативных политик к исполняемым техническим мерам, таким как принцип наименьших привилегий и токены с ограниченным сроком действия, существенно сокращает возможности для горизонтального перемещения атакующих внутри системы.

Компании, внедряющие эти меры на ранних этапах, получают преимущество в виде более предсказуемых процессов аудита и готовности к работе в регулируемых отраслях. Стратегический вывод заключается в том, что безопасность ИИ больше не может быть вопросом постфактум или формального соответствия. Она должна стать неотъемлемой частью архитектуры разработки и эксплуатации. Компании, которые смогут внедрить непрерывное техническое тестирование и ограничить права агентов на уровне исполнения кода, получат решающее преимущество в надежности своих бизнес-процессов. Те же, кто продолжит полагаться только на общие политики управления, столкнутся с растущими финансовыми потерями и репутационными рисками.

Важный нюанс: Безопасность агентного ИИ требует перехода от защиты периметра к контролю цифровой идентичности каждого агента, так как легитимный доступ становится главным вектором атаки при использовании методов захвата памяти.