Как оценить угрозы в современных ИИ-системах: от обобщений к реальному риску

Оценка угроз в современных ИИ-системах: от обобщений к контексту

По данным Helpnetsecurity, подход к моделированию угроз в современных ИИ-системах требует переосмысления. В интервью с Naor Penso, главным специалистом по информационной безопасности в Cerebras Systems, обсуждаются ключевые аспекты, которые необходимо учитывать при анализе рисков, связанных с искусственным интеллектом.

От общих меток к функциональным зонам

Традиционная практика моделирования угроз часто сводит все ИИ-системы к единой категории. Однако, как отмечает Penso, такой подход упускает важные различия между компонентами. Современные ИИ-стеки лучше разделять по функции, способу использования, чувствительности данных и потенциальным последствиям сбоя или утечки информации. Это позволяет отличить низкорисковые инструменты внутренней продуктивности от моделей, встроенных в критически важные бизнес-процессы.

Такое разделение помогает оценивать ИИ не по метке, а по его реальному влиянию на бизнес и безопасность. Например, модель, которая является частью интеллектуальной собственности компании, требует более строгого подхода к защите, чем вспомогательный инструмент для внутренних задач.

Моделирование угроз как инструмент повышения надежности

Для руководителей, не знакомых с техническими деталями, моделирование угроз может восприниматься как препятствие. Чтобы избежать этого, Penso предлагает использовать аналогии из их области. Например, в автосалоне не позволят новому продавцу выдать скидку в 80%, потому что это угрожает доходу, репутации и стабильности. Такой же подход можно применить к ИИ: моделирование угроз выявляет риски, которые иначе могут остаться незамеченными.

Новые вызовы в моделировании угроз

Когда ИИ становится частью инфраструктуры, традиционные подходы к моделированию угроз начинают терять актуальность. Особенно это касается больших языковых моделей (LLM), где поведение системы не всегда предсказуемо. В отличие от классических алгоритмов, где одинаковый входной сигнал возвращает одинаковый результат, в LLM на выход влияют параметры, такие как температура и top_p. Это приводит к неопределенности, затрудняющей оценку корректности работы модели.

Сигналы, которые стоит учитывать

Одним из часто игнорируемых аспектов в моделировании угроз являются паттерны вызовов инструментов. Современные реализации LLM активно используют внешние инструменты, такие как поисковики или внутренние микросервисы. Если эти вызовы не ограничены, они могут привести к неожиданному поведению модели, включая возможные атаки. Отклонения в частоте, последовательности или параметрах вызовов могут указывать на злоупотребление, сбоях модели или попытку получить несанкционированный доступ.

Расширение категории рисков

Когда модели становятся частью критической инфраструктуры, классические категории угроз — конфиденциальность, целостность и доступность — начинают включать новые аспекты. Целостность расширяется до угроз вроде дрейфа модели, отравления данных и несанкционированного смещения. Доступность затрагивает не только устойчивость модели, но и её производительность, а конфиденциальность — теперь включает защиту самой модели как интеллектуальной собственности.

Интересно: Какие новые подходы и инструменты потребуются для адаптации моделирования угроз к неопределенности и динамике, характерной для современных ИИ-систем?

i

Создано специально для ASECTOR

Концептуальное изображение

Переписывание правил безопасности в эпоху искусственного интеллекта

Когда метки не работают, а риски — растут

Традиционные подходы к моделированию угроз, которые успешно работали в мире, где системы были предсказуемыми и изолированными, сегодня сталкиваются с новыми вызовами. В эпоху искусственного интеллекта, особенно больших языковых моделей, границы между компонентами размыты, поведение систем не всегда линейно, а угрозы приобретают нестандартные формы. Это требует переосмысления не только методов, но и самого понимания того, что может пойти не так.

Распределение ИИ-стека на функциональные зоны — это не только технический приём, а стратегический шаг. Такой подход позволяет увидеть, что модель, встроенная в критически важный бизнес-процесс, несёт на себе гораздо большие риски, чем вспомогательный инструмент для анализа данных. При этом важно учитывать не только утечку информации, но и то, как сбой в модели может повредить репутации компании, её доходам или даже нарушить закон.

Важный нюанс: Без адаптации моделирования угроз к реальной роли ИИ в бизнесе, компании рискует оценить риски слишком оптимистично, а уязвимости — недооценить.

Угрозы, которые нельзя увидеть

Особенность современных ИИ-систем в том, что их поведение не всегда воспроизводимо. В отличие от традиционных программ, где один и тот же вход всегда даёт одинаковый результат, в больших языковых моделях выход зависит от множества параметров, включая температуру и вероятностные пороги. Это приводит к неопределённости, которая затрудняет как тестирование, так и мониторинг [!].

Кроме того, современные модели активно взаимодействуют с внешними инструментами — поисковыми системами, внутренними сервисами, API. Эти взаимодействия могут стать точками проникновения. Например, если модель начинает слишком часто обращаться к определённому сервису или использовать его в неожиданном порядке, это может быть признаком атаки, сбоя или попытки извлечь из модели конфиденциальную информацию [!].

Новые аспекты безопасности

Когда ИИ становится частью критической инфраструктуры, традиционные категории угроз — конфиденциальность, целостность и доступность — перестают быть достаточными. Целостность теперь включает угрозы вроде дрейфа модели или отравления данных. Доступность — это не только устойчивость к сбоям, но и устойчивость к нагрузке. А конфиденциальность — это не только защита данных, но и защита самой модели как интеллектуальной собственности.

Важный нюанс: Моделирование угроз в ИИ-системах требует не только технической экспертизы, но и глубокого понимания бизнес-процессов и того, как модель в них встроена. Без этого любые меры могут оказаться недостаточными или излишними.

Угрозы извне: ИИ как инструмент злоумышленников

Растущая доступность ИИ открывает новые векторы атак. Киберпреступники уже используют большие языковые модели для генерации вредоносного кода, что позволяет им быстрее создавать сложные троянеры и другие инструменты для взлома [!]. Это увеличивает масштаб и скорость проникновения в системы, делая традиционные методы защиты менее эффективными.

Кроме того, агенты ИИ, внедрённые в бизнес-процессы, могут стать точками утечки данных, если их действия не контролируются. 72% организаций уже используют агенты ИИ, но не все обеспечивают достаточный уровень надзора. Это требует внедрения централизованных платформ управления, которые позволят контролировать поведение агентов и минимизировать риски [!].

Сложности в политике конфиденциальности

С увеличением масштаба использования ИИ, растёт и сложность политик конфиденциальности. Политики конфиденциальности крупных языковых моделей выросли в объёме на 53% по сравнению с политиками программного обеспечения 2019 года, достигнув в среднем 3 346 слов. Уровень языка соответствует университетскому, а неопределённые формулировки и множественные условия затрудняют понимание пользователю, как именно обрабатываются данные [!].

Это создаёт барьер для пользователей, которые не могут точно понять, как обрабатываются их данные. Поставщики ИИ должны сделать политику понятнее, чтобы повысить доверие к своим сервисам.

Рост угроз в 2026 году

51% европейских IT-специалистов прогнозируют, что в 2026 году угрозы, связанные с искусственным интеллектом и дипфейками, станут ключевыми рисками для организаций. 59% из них указывают на AI-ориентированную социальную инженерию и внутренние утечки данных как наиболее значимые угрозы [!].

Это требует от компаний не только обновления политики безопасности, но и пересмотра подходов к обучению сотрудников, а также внедрения новых инструментов для обнаружения инцидентов.

Важный нюанс: С ростом масштаба использования ИИ увеличивается и атакующая поверхность. Руководители по информационной безопасности должны учитывать не только угрозы в данных и моделях, но и в физической инфраструктуре, где ИИ начинает играть ключевую роль [!].

Перспективы развития

Современные модели, такие как Gemini 3 Flash, демонстрируют улучшенную скорость и эффективность, что делает их подходящим решением для масштабных проектов и задач в реальном времени. Однако это также снижает операционные издержки и повышает доступность ИИ, что может привести к росту угроз [!].

Такие разработки требуют адаптации подходов к моделированию угроз, чтобы учитывать не только технические аспекты, но и экономические и стратегические последствия.

Выводы

Переход к ИИ-ориентированной безопасности требует системного подхода. Моделирование угроз должно учитывать не только технические параметры, но и бизнес-контекст, где используется модель . Это включает в себя оценку рисков, связанных с данными, моделями, приложениями и физической инфраструктурой.

Важный нюанс: Без адаптации к новым реалиям, компании рискуют не только потерять конкурентное преимущество, но и столкнуться с серьёзными финансовыми и репутационными потерями.

Это время, когда безопасность ИИ не остаётся на периферии, а становится центральным элементом стратегии бизнеса.