Генеративный ИИ становится оружием киберпреступников

Анализ текущих угроз показывает, что киберпреступники всё чаще применяют искусственный интеллект не только для написания текстов, но и для манипуляции самими системами безопасности. Исследования, проведённые учёными из университетов Кolumbia и Чикаго, а также данные, собранные исследовательской группой Barracuda, демонстрируют рост числа атак, в которых ИИ становится как инструментом, так и целью.

Угрозы в сфере электронной почты

Современные атаки, основанные на больших языковых моделях (LLM), становятся более профессиональными. Сгенерированные таким образом письма отличаются высоким уровнем грамматической точности и стилистической сложности. Это делает их трудноразличимыми для фильтров безопасности и более убедительными для получателей. Особенно эффективны такие атаки, когда злоумышленники не владеют английским языком — ИИ позволяет им обойти этот барьер.

Дополнительно, атакующие используют ИИ для тестирования различных вариантов заголовков и текста писем. Такой подход, напоминающий A/B-тестирование в маркетинге, позволяет им находить наиболее эффективные формулировки, которые способны обойти защиту и вызвать реакцию у жертв.

Атаки на ИИ-ассистентов сотрудников

Среди новых угроз — атаки на AI-ассистентов, таких как Microsoft Copilot, которые используются сотрудниками для ежедневных задач. Эти инструменты сканируют почту, сообщения и документы, чтобы предоставлять контекст при ответах. Такая функциональность создаёт новые риски. Например, злонамеренный запрос может быть скрыт в обычном письме, а затем активирован ассистентом во время выполнения задачи. Это может привести к утечке конфиденциальной информации, изменению записей или запуску команд.

Другой тип атак связан с системами, использующими генерацию с поддержкой поиска (RAG). Злоумышленники могут корректировать данные, на которые опираются такие системы, чтобы манипулировать результатами. В итоге это приводит к некорректным выводам и действиям, основанным на искажённой информации.

Использование ИИ для подрыва систем безопасности

Кроме того, атакующие пытаются использовать ИИ-инструменты, предназначенные для защиты, в своих целях. Многие платформы электронной почты внедрили функции вроде автоматических ответов, умного пересыла, автоматического создания заявок и фильтрации спама. Каждая из этих функций может стать точкой входа для злоумышленников. Например, вредоносный запрос может спровоцировать автоматический ответ, раскрывающий конфиденциальные данные, или повысить приоритет заявки в службу поддержки, что даёт злоумышленникам неправомочный доступ.

В некоторых случаях атакующие используют автоматизацию рабочих процессов против самой организации. Помеченная командой может запустить вредоносное ПО, изменить важные данные или остановить ключевые процессы. Таким образом, те же самые ИИ-функции, которые упрощают защиту, расширяют и площадь атаки.

Риски идентификации и целостности

Дополнительный риск связан с автономностью ИИ-систем. Злоумышленники могут использовать так называемую атаку «Confused Deputy», когда агент с высокими привилегиями выполняет задачи от имени менее привилегированного пользователя. Также распространены атаки, связанные с подделкой API-доступа, при которых злоумышленники обманывают интеграции с сервисами вроде Microsoft 365 или Gmail, чтобы получить доступ к информации или отправить фишинговые письма.

Важным аспектом является также распространение манипуляций через так называемые каскадные галлюцинации. Один поддельный запрос может исказить сводки, отчёты или списки задач. Например, фальшивое «срочное» сообщение от поддельного руководителя может быть принято за настоящее, что повлияет на приоритеты работы и решения команды. Как только доверие к выводам ИИ начинает ослабевать, под угрозу попадают все системы, зависящие от этих данных.

Как адаптировать защиту

Традиционные методы контроля, такие как SPF, DKIM и списки заблокированных IP, уже не справляются с новыми угрозами. Для борьбы с атаками, использующими ИИ, необходимы многоуровневые меры защиты. Одним из ключевых шагов является обучение фильтров распознавать особенности генерации контента ИИ, чтобы выявлять аномалии в тоне, поведении или намерениях, которые могут обойти старые системы.

Важно также проверять, что ИИ-системы помнят. Без такой проверки искажённые данные могут оставаться в памяти и влиять на будущие решения. Организации должны изолировать ИИ-ассистентов в изолированных средах, где действия без подтверждения блокируются до тех пор, пока они не будут проверены. Управление идентичностями должно опираться на принцип минимальных привилегий — ИИ-интеграциям предоставляется только тот уровень доступа, который им действительно нужен. Важно также подозревать каждую инструкцию. Даже рутинные запросы должны быть проверены перед выполнением, если организация придерживается принципов zero-trust.

Технические меры — лишь часть решения. Ключевую роль играют сотрудники. Повышение осведомлённости среди пользователей помогает им распознавать подозрительные сообщения и оперативно сообщать об этом, снижая вероятность того, что вредоносные запросы или атаки, созданные с помощью ИИ, вообще возымеют эффект.

Будущее угроз и защита от ИИ-агентов

Следующая волна угроз включает в себя автономные ИИ-системы, способные рассуждать, планировать и действовать самостоятельно. Эти инструменты могут значительно повысить продуктивность, но их автономность делает их привлекательными для атак. Если злоумышленники смогут направить агента, система может принимать решения, запускать действия или перемещать данные без контроля.

Почта остаётся популярным вектором атак, так как почтовый ящик стал зоной подготовки угроз, особенно с интеграцией ассистентов и агентов с календарями, рабочими процессами и платформами для сотрудничества. Каждый запрос может стать триггером для дальнейших действий.

Защита такого пространства требует больше, чем фильтрация. Она предполагает постоянную проверку, установку правил zero-trust и моделирование возможных сценариев атак. ИИ уже меняет подходы атакующих, и защитники должны адаптироваться. Руководители безопасности должны строить устойчивость на двух фронтах: выявлять, когда противники используют ИИ против них, и укреплять собственные ИИ-системы, чтобы злоумышленники не могли их отравлять или вводить в заблуждение.

Интересно: Какие меры безопасности действительно эффективны в условиях роста ИИ-атак? Может ли традиционная система защиты устоять перед новыми угрозами, или нужен радикальный пересмотр подходов?

Киберпреступность эпохи ИИ: когда защита становится частью атаки

Рост мощности и доступности генеративных моделей искусственного интеллекта привел к тому, что они стали не только инструментом для бизнеса и творчества, но и оружием в руках киберпреступников. Это не просто эволюция угроз — это качественный сдвиг в ландшафте кибербезопасности, где старые методы защиты становятся уязвимыми, а новые подходы требуют фундаментального пересмотра архитектуры ИИ-систем и человеческого поведения.

Как ИИ меняет тактику атак

Искусственный интеллект позволяет злоумышленникам маскировать свои действия под естественные процессы. Ранее фишинговые письма выделялись на фоне по грамматике, стилю или спамным признакам. Сегодня же, благодаря LLM, они выглядят как профессионально написанные документы. Это делает их не только более убедительными, но и внезапно легитимными для систем фильтрации, которые не умеют отличать ИИ-текст от человека.

Кроме того, ИИ используется для масштабного A/B-тестирования — атакующие генерируют десятки вариантов писем, тестируют их на мелких целях и выбирают наиболее эффективные. Это не просто повышает вероятность успеха, но и позволяет адаптироваться к конкретной компании или индивиду. В таких условиях даже хорошо обученная команда безопасности может оказаться в ловушке, если не пересмотрит подход к анализу угроз.

Тренд: Киберпреступники используют ИИ не как инструмент, а как партнерство. Он помогает им не только маскироваться, но и предугадывать поведение системы и пользователя.

Уязвимости внутри ИИ

Самые опасные атаки начинаются не извне, а изнутри. Речь идет о системах, которые используют ИИ для автоматизации и поддержки решений — ассистенты, RAG-модели, чат-боты. Они обладают доступом к внутренним данным, календарям, документам и могут принимать решения от имени пользователей. Злоумышленники научились использовать это как точку входа.

Одним из самых тревожных примеров является атака «Confused Deputy», когда ИИ-ассистент, имеющий высокий уровень доступа, выполняет действия от имени пользователя, не понимая, что его запустил вредоносный запрос. Это не просто утечка данных — это прямое управление бизнес-процессами через доверенные инструменты.

Обратите внимание: Когда ИИ становится частью бизнес-процесса, он перестаёт быть просто инструментом. Он становится узлом системы, и его уязвимости — это уязвимости всей организации.

Новые правила игры в безопасности

Традиционные методы защиты — SPF, DKIM, списки блокировки — уже не справляются. Они не учитывают, что атаки теперь умнее, адаптивнее и менее предсказуемы. Нужны новые подходы, основанные на принципах zero-trust и непрерывного мониторинга.

Однако технические меры недостаточны. Ключевой элемент — повышение осведомлённости пользователей. Даже самая продвинутая система безопасности не спасёт компанию, если сотрудник скопирует вредоносную ссылку из письма, сгенерированного ИИ. Это требует не только обучения, но и изменения культуры: каждый сотрудник должен быть готов к тому, что каждый запрос может быть атакой.

Что дальше: автономные ИИ и новые фронты

Следующий этап — появление автономных ИИ-агентов, способных самостоятельно планировать, принимать решения и действовать. Эти системы могут быть использованы для автоматизации бизнес-процессов, но они же станут новым фронтом атак. Если злоумышленник получит контроль над таким агентом, он сможет переписывать данные, запускать процессы и манипулировать системами без участия человека.

Почта, интеграции с календарями и платформами для сотрудничества становятся не просто векторами атак — они превращаются в зоны подготовки угроз. Это требует не только усиления технической защиты, но и переосмысления архитектуры ИИ-систем, чтобы они были устойчивы к отравлению данных, манипуляциям и злоупотреблениям.

К чему это ведет? Кибербезопасность эпохи ИИ — это не просто борьба с новыми угрозами, а полномасштабная трансформация подходов к защите, где человек и ИИ должны работать как единая система.