Агентные ИИ-системы растут: безопасность, контроль и масштабирование в фокусе

По данным Helpnetsecurity, агентные ИИ-системы (agentic AI) всё чаще становятся частью повседневных операционных функций крупных организаций. Речь идёт о таких направлениях, как ИТ-операции, кибербезопасность, обработка данных и поддержка клиентов. Более 70% респондентов в исследовании Dynatrace сообщили о внедрении AI-агентов в ИТ-операции и мониторинге систем, а почти половина — о применении агентных ИИ-систем как внутри, так и вне компании.

Расходы на агентные ИИ-системы демонстрируют устойчивую динамику роста. Ожидается, что в следующем году инвестиции будут увеличиваться, а сегодня многие компании вкладывают от двух до пяти миллионов долларов в год. Уровень финансирования тесно связан с масштабом задач, которые решаются с помощью агентных ИИ-систем — в первую очередь, это вопросы надёжности и операционной эффективности.

Основные барьеры и подходы к масштабированию

Внедрение агентных ИИ-систем пока остаётся неравномерным. Половина опрошенных организаций сообщила, что агентные ИИ-проекты уже работают в ограниченных условиях, а 44% — что такие проекты активно используются в отдельных подразделениях. В среднем, в компаниях функционируют от двух до десяти агентных ИИ-проектов.

ИТ-операции, кибербезопасность и обработка данных лидируют по уровню готовности к полноценной эксплуатации. В этих направлениях около половины проектов уже находятся в рабочем состоянии или в процессе оперативного внедрения.

Критерии для запуска агентных ИИ-проектов в основном связаны с технической производительностью. На первом месте — вопросы безопасности и конфиденциальности данных, далее следует точность и надёжность выводов ИИ. Также важна система мониторинга и контроля, где многие команды рассматривают наблюдаемость (observability) как необходимую предпосылку для масштабирования.

Однако недостаток наблюдаемости остаётся серьёзным препятствием. Основные проблемы — это обеспечение безопасности, конфиденциальности и соблюдение нормативных требований. Сложности возникают и при управлении агентами в масштабе. Ограниченная видимость поведения агентов и сложности в трассировке последствий автономных действий — частые проблемы, с которыми сталкиваются компании.

Эти проблемы усиливаются с ростом взаимосвязанности систем. Агентные ИИ-системы часто работают с множеством инструментов, моделей и источников данных, что требует реального времени для анализа решений и выполнения задач. Без этой информации команды сталкиваются с трудностями при диагностике неожиданного поведения или при сопоставлении технических сигналов с бизнес-результатами.

Роль наблюдаемости и человеческого контроля

Отчёт подчёркивает важность наблюдаемости как основного элемента контроля. Почти 70% респондентов уже используют инструменты наблюдаемости на этапе внедрения агентных ИИ-систем, а более половины — в процессе разработки и эксплуатации. Часто такие инструменты применяются для мониторинга качества обучающих данных, выявления аномалий в реальном времени, проверки выводов и обеспечения соответствия нормативам.

Несмотря на рост автономности, человеческий контроль остаётся стандартной практикой. Более двух третей решений, принимаемых агентными ИИ-системами, проверяются людьми. Наиболее распространёнными методами проверки являются контроль качества данных, ручной осмотр результатов и отслеживание дрейфа (drift). Полностью автономные агенты без надзора используют лишь немногие компании. В основном, создаётся смешанная модель — автономные и контролируемые агенты, в зависимости от задач и уровня риска.

Оценка эффективности и масштабирование

Оценка успеха внедрения агентных ИИ-систем в первую очередь связана с надёжностью. 60% респондентов указали, что техническая производительность — ключевой показатель успеха. Также важны операционная эффективность, продуктивность разработчиков и уровень удовлетворенности клиентов.

Методы мониторинга остаются разнообразными. Около половины компаний используют логи, метрики и трассировки, а почти столько же — ручную проверку взаимодействий между агентами. Часто применяются автоматические системы обнаружения аномалий и панели управления, хотя многие компании сочетают автоматизированные и ручные подходы.

Участники исследования описывают успех как способность систем сохранять производительность в условиях нагрузки и быстро восстанавливаться после сбоев. Учитывая скорость распространения ошибок между агентами, раннее обнаружение и оперативная реакция остаются ключевыми целями.

i

Создано специально для ASECTOR

Концептуальное изображение

Управление масштабированием и контроль

Следующим этапом развития агентных ИИ-систем, как отмечено в отчёте, станет усиление управления и контроля. Команды указывают на необходимость единых фактических данных, стандартных метрик и согласованных правил, которые будут регулировать автономные действия. Наблюдаемость выступает как механизм, связывающий все эти элементы на протяжении жизненного цикла ИИ.

«Организации не замедляют внедрение, потому что сомневаются в ценности ИИ, а потому, что безопасное масштабирование автономных систем требует уверенности в том, что они будут работать надёжно и в соответствии с ожиданиями в реальных условиях», — отметил Алоис Райтбауэр (Alois Reitbauer), главный технологический стратег Dynatrace.

Агентные ИИ-системы расширяют операционную зону риска и усиливают зависимость от мониторинга, проверки и контроля. По мере того как больше проектов переходят в эксплуатацию, доверие становится операционной необходимостью, обеспечиваемой с помощью инструментов, процессов и человеческого суждения, работающих вместе.

Рост влияния агентных ИИ-систем: за кулисами цифровой трансформации

Когда ИИ становится частью инфраструктуры

Агентные ИИ-системы уже не только эксперименты в лабораториях — они становятся операционным элементом в компаниях, отвечающих за ИТ-поддержку, безопасность, анализ данных и клиентский сервис. Их внедрение ускоряется, а инвестиции растут. По данным исследования, более 70% респондентов уже внедрили AI-агентов в ИТ-операции и мониторинге систем, а почти половина — как внутри, так и вне компании. В среднем, в организациях функционируют от двух до десяти агентных ИИ-проектов [!].

Однако за этой динамикой скрываются сложные системные вызовы, которые начинают проявляться, как только агенты выходят за рамки тестовых сред. Агенты — это не только ИИ, которые делают что-то быстро. Это автономные субъекты, способные принимать решения, взаимодействовать с другими системами и адаптироваться. И чем больше они становятся частью операционной инфраструктуры, тем больше рисков возникает в управлении, контроле и предсказуемости.

Наблюдаемость как новый стандарт управления рисками

Одним из ключевых инсайтов становится рост ценности наблюдаемости (observability). Это не только мониторинг. Это способность видеть, как агенты принимают решения, где они взаимодействуют с другими системами и как их действия влияют на бизнес-результаты. Компании, которые не внедряют такие инструменты, рискуют столкнуться с непредсказуемыми последствиями: от ошибок в обработке данных до утечек конфиденциальной информации [!].

Важный нюанс: В Китае уже зафиксированы случаи несанкционированного доступа к корпоративной информации через открытые фреймворки ИИ. Это подчеркивает, что без наблюдаемости невозможно гарантировать, что агенты не станут источником утечек или уязвимостей. В условиях, когда агенты работают с множеством инструментов, моделей и источников данных, без четкой видимости их поведения и последствий, компании теряют контроль над своими системами.

Человеческий контроль как баланс между скоростью и безопасностью

Несмотря на рост автономности, человеческий контроль остается критически важным. Более двух третей решений, принимаемых агентными ИИ-системами, проверяются людьми. Это не из-за недоверия к ИИ, а потому что в бизнесе редко бывает, чтобы риск можно было полностью исключить. Особенно когда речь идет о конфиденциальных данных, критически важных системах и регуляторных требованиях.

Смешанный подход — автономные агенты с человеческим надзором — становится новой нормой. Он позволяет сохранить скорость и эффективность ИИ, но не отказывается от контроля. Это важно для российских компаний, которые работают в условиях повышенной регуляторной нагрузки и где любые утечки или ошибки могут иметь серьезные последствия. В банковском секторе США уже наблюдаются изменения в требованиях к кибербезопасности, где ИИ используется как инструмент защиты, но также требует усиления мер по предотвращению атак [!].

Масштабирование: когда рост становится сложным

С ростом количества агентов и их взаимодействия между собой, увеличиваются и сложности. Агенты начинают работать с множеством инструментов, моделей и источников данных. Это создает эффект домино: одна ошибка может распространиться по всей системе. Управление таким масштабом требует не только мощных инструментов, но и четко прописанных процессов, стандартов и правил.

Важный нюанс: В этом контексте особенно важна роль единых фактических данных, стандартных метрик и согласованных правил, которые будут регулировать автономные действия. Наблюдаемость выступает как механизм, связывающий все эти элементы на протяжении жизненного цикла ИИ. Она позволяет не только видеть, что происходит, но и понимать, почему это происходит.

Риски и двойное применение ИИ

Новые данные демонстрируют, что агентные ИИ-системы могут быть не только инструментами повышения эффективности, но и угрозами. Например, AI-агент ARTEMIS обнаружил девять уязвимостей в корпоративной сети за 10 часов с 82% точностью. При этом злоумышленники из Северной Кореи и Китая уже используют модели вроде ChatGPT и Claude для фишинга и атак на государственные системы [!]. Это показывает, что кибербезопасность становится критически важной в условиях роста как защитных, так и атакующих возможностей искусственного интеллекта.

Важный нюанс: Облачные системы ИИ расширяют атакуемую поверхность, создавая новые уязвимости. Злоумышленники используют новые возможности для обхода традиционных методов защиты, таких как брандмауэры и антивирусы, которые не справляются с быстро меняющимися угрозами [!]. Это требует внедрения современных решений, основанных на искусственном интеллекте, способных анализировать угрозы в реальном времени и автоматически реагировать на них.

Выводы

Агентные ИИ-системы становятся неотъемлемой частью цифровой инфраструктуры. Их внедрение ускоряется, но с этим растут и вызовы. Наблюдаемость, человеческий контроль и стратегическое управление рисками — ключевые элементы, которые определят успех или провал масштабирования. Для российских компаний особенно важно учитывать особенности регуляторной среды и уровень зрелости внутренних процессов. Тех, кто начнет внедрять агентные ИИ-системы без должного планирования, ждет не только технические сложности, но и потенциальные риски для бизнеса.