ИИ меняет бизнес: новые риски в данных, моделях и физической инфраструктуре

По данным Helpnetsecurity, искусственный интеллект входит в операционные процессы компаний быстрее, чем ожидалось. Он встроен в рабочие процессы, физические системы и инфраструктуру. Некоторые AI-инструменты еженедельно используются сотнями миллионов пользователей. Стоимость инференса снизилась в 280 раз, но общий объём расходов продолжает расти из-за увеличения объёмов использования. Атакующие применяют те же самые инструменты. Руководители по информационной безопасности (CISO) теперь отвечают за более широкую атакующую поверхность, включая автоматизацию, новые пути передачи данных и решения, принимаемые машинами.

Новые риски в ключевых рабочих процессах

ИИ вышел за рамки экспериментов и стал частью повседневных операций. Он поддерживает ключевые процессы в инженерии, работе с клиентами, финансах и цепочках поставок. В результате формируются новые точки риска в центре бизнеса. Руководители по ИТ и безопасности указывают на четыре основных направления: данные, модели, приложения и инфраструктура, каждая из которых вносит свой вклад в потенциальные сбои.

Системы на основе больших языковых моделей (LLM) концентрируют конфиденциальную информацию в меньшем количестве мест, что усиливает последствия пробелов в управлении данными. Поведение модели можно изменить за счёт отравления или манипуляции с обучающими данными. Интерфейсы приложений, такие как плагины и API, увеличивают количество точек доступа, которые могут быть использованы злоумышленниками. Инфраструктура ИИ добавляет сложности, поскольку вычисления, данные и оркестрация работают вместе, а не как отдельные слои.

Пробелы в управлении агентными системами

Компании активно тестируют разнообразные сценарии использования агентных ИИ-систем. Всего 11% из них заявили, что агенты уже внедрены в производство. Другие 38% проводят пилоты, а 35% не имеют чёткой стратегии. Разрыв между пилотами и внедрением отражает ограничения в процессах и управлении, а не в технологиях.

Руководители ИТ и финансовые директора отметили, что рабочие процессы проектировались с учётом человеческого суждения и скорости принятия решений. Введение агентов в такие среды требует структуры, необходимой для надёжной работы. Отсутствие такой структуры часто приводит к частичной автоматизации, которая добавляет шум вместо ценности.

CISO должны учитывать это при разработке политик и контрольных механизмов. Идентификация, доступ и надзор за агентами требуют такого же дисциплинированного подхода, как и к другим операционным активам. Ведение логов, аудит и процессы проверки должны быть определены до внедрения. Существующие контрольные меры жизненного цикла программного обеспечения остаются актуальными, но должны работать быстрее и включать регулярное тестирование, в том числе с использованием red teaming.

Инфраструктура становится фактором риска

Экономика инференса меняет подходы к планированию вычислений. Стоимость токенов резко снизилась, но расходы остаются высокими из-за роста потребления. Организации переходят к гибридным моделям, распределяя нагрузку между облаком, локальными системами и окраинными устройствами. Каждый уровень добавляет свои риски безопасности.

Роботы, автономные транспортные средства и подключённые устройства стали частью повседневных операций. Компании вроде BMW и Amazon создают среды, где физические системы сами планируют маршруты и выполняют задачи. Каждое подключённое устройство становится частью корпоративной зоны доверия. Компрометация одного устройства может нарушить операции и открыть доступ к более чувствительным системам.

CISO должны расширить привычные практики безопасности на такие среды. Сегментация, изоляция сети, проверка поставщиков и управление конфигурациями остаются важными. Разница — в масштабе. Эти меры применяются к флотам автономных компонентов, а не к статичной инфраструктуре.

Интересно: Как изменится роль CISO в условиях, когда ИИ становится частью не только ИТ-инфраструктуры, но и физических операций, а агенты начинают принимать решения в реальном времени?

i

Создано специально для ASECTOR

Концептуальное изображение

Ускоренное проникновение ИИ: новые риски в старых системах

Искусственный интеллект уже не находится в стадии экспериментов. Он интегрирован в операционные процессы, физические системы и инфраструктуру. Это не только улучшение эффективности — это масштабная трансформация, которая меняет структуру рисков и ожиданий от ИТ-безопасности. В то время как стоимость инференса снизилась в 280 раз, общий объём расходов продолжает расти. Причина — увеличение объёма использования. Атакующие, в свою очередь, применяют те же самые инструменты, что делает защиту более сложной.

Системы становятся более уязвимыми изнутри

ИИ-модели, особенно большие языковые модели, концентрируют конфиденциальные данные в ограниченном количестве точек. Это создаёт новые уязвимости: если данные или модель будут отравлены, последствия могут быть масштабными. Например, если злоумышленник внедрит в обучающий набор информацию, искажающую поведение модели, это может привести к ошибкам в финансовых расчётах, логистике или обслуживании клиентов.

Кроме того, интерфейсы, такие как API и плагины, увеличивают количество точек доступа. Каждый такой канал может стать входной точкой для атак. Инфраструктура ИИ, в свою очередь, становится более сложной: вычисления, данные и оркестрация теперь работают как единая система, что снижает прозрачность и усложняет управление рисками.

Важный нюанс: Исследования показывают, что даже небольшие языковые модели способны выявлять фишинговые веб-сайты с точностью от 56% до 90% [!]. Это демонстрирует потенциал ИИ в кибербезопасности, но также указывает на необходимость их тщательной интеграции и проверки.

Агенты ИИ: между экспериментом и реальностью

Только 11% компаний заявили, что агенты ИИ уже используются в производстве. Остальные находятся на стадии пилота или вообще не имеют чёткой стратегии. Проблема не в технологиях, а в процессах и управлении. Многие бизнес-процессы были спроектированы с учётом человеческого суждения и скорости принятия решений. Внедрение агентов требует адаптации этих процессов, иначе автоматизация может добавить шума, а не ценности.

Руководители по ИТ и безопасности сталкиваются с необходимостью создать структуры, которые обеспечат надёжную работу агентов. Это включает в себя идентификацию, контроль доступа, аудит и логирование. Эти меры должны быть определены до внедрения, а не после. Существующие процессы жизненного цикла программного обеспечения остаются актуальными, но требуют ускорения и дополнения, например, регулярным тестированием с участием red teaming.

Важно учитывать, что 72% организаций уже используют агентов ИИ, взаимодействующих с большими языковыми моделями, без надлежащего надзора [!]. Это может привести к утечкам данных и сбоям в работе систем. Для минимизации рисков необходима централизованная платформа управления агентами ИИ, которая позволит контролировать их действия и обеспечить безопасный обмен данными.

Инфраструктура — новый фронт безопасности

Изменение экономики инференса влияет на подходы к вычислениям. Компании переходят к гибридным моделям, распределяя нагрузку между облаком, локальными системами и окраинными устройствами. Каждый уровень добавляет свои риски. Например, автономные транспортные средства и роботы, такие как те, что используются в Amazon и BMW, становятся частью корпоративной зоны доверия. Компрометация одного устройства может нарушить операции и дать доступ к более чувствительным системам.

Руководители по безопасности должны расширить привычные практики — сегментация, изоляция сети, проверка поставщиков и управление конфигурациями — на флоты автономных компонентов. Это требует масштабного подхода, потому что речь идёт не о статичной инфраструктуре, а о динамических системах, которые принимают решения в реальном времени.

Важно учитывать, что спрос на энергетическое хранение растёт из-за развития ИИ-инфраструктуры. Компании, такие как Meta⋆, Microsoft и OpenAI, инвестируют в ИИ-инфраструктуру, что приводит к удвоению или утроению потребления энергии дата-центрами в США. Искусственный интеллект становится ключевым фактором, влияющим на развитие энергосистем и потребность в надёжных решениях хранения энергии [!].

Важный нюанс: Рост роли ИИ в физических операциях требует нового подхода к безопасности — не только в ИТ-инфраструктуре, но и в управлении рисками, связанными с физическими системами.

Долгосрочные стратегические изменения

Интеграция ИИ в бизнес-процессы не только меняет операционную картину, но и требует пересмотра подходов к управлению рисками. В условиях роста зависимости от ИИ, компании сталкиваются с необходимостью:

• Повышения прозрачности в использовании данных, особенно в обучении моделей.
• Укрепления контроля над поставщиками и поддержания их безопасности.
• Регулярного обновления ИТ-инфраструктуры, включая базы данных и системы хранения.
• Адаптации к новым угрозам, таким как дипфейки и автоматизированная социальная инженерия.

Все эти факторы требуют стратегического подхода, где ИИ рассматривается не как отдельная технология, а как элемент более широкой экосистемы, где безопасность, прозрачность и управляемость играют ключевую роль.