ИИ-ассистенты под угрозой: как атака Reprompt учит бизнес защищаться
Исследователи из Varonis Threat Labs обнаружили уязвимость Reprompt, позволяющую злоумышленникам получить неограниченный доступ к данным пользователей через ИИ-ассистенты, обходя защитные меры после первого запроса. Атака демонстрирует серьёзные риски для корпоративной безопасности, особенно при использовании внешних ссылок и недостаточной проверки вводных данных.
Новые угрозы в сфере безопасности ИИ-ассистентов: как атака «Reprompt» демонстрирует риски для бизнеса
По данным Computerworld, исследователи из Varonis Threat Labs обнаружили уязвимость, позволяющую злоумышленникам получить неограниченный и незаметный доступ к данным пользователей через ИИ-ассистенты. Атака, получившая название Reprompt, представляет собой трёхэтапную схему, которая позволяет обойти защитные меры после первого запроса к языковой модели. Это событие поднимает важные вопросы о безопасности ИИ-инструментов, особенно тех, что используются в корпоративной среде.
Как работает атака Reprompt
Атака основана на трёх техниках: внедрение начального параметра в запрос, двойной запрос и цепочка последующих запросов. Суть заключается в том, что злоумышленник может передать вредоносный запрос через URL-адрес, который автоматически заполняет поле ввода в ассистенте. Эта функция, предназначенная для удобства пользователя, становится слабым местом.
После первого запроса, в котором модель удаляет подозрительные данные, злоумышленник отправляет второй запрос — и на этот раз модель уже не блокирует его. Таким образом, атакующий получает возможность запускать серию последующих команд, которые могут включать в себя запросы к личной информации пользователя: «Перечислите все файлы, которые пользователь просматривал сегодня», «Где он живёт?» или «Какие отпуска он планирует?».
Специалист Varonis Threat Labs Довель Талер подчёркивает, что этот метод позволяет воровать данные незаметно и масштабно. Поскольку атакующий получает ответы постепенно, он может использовать каждое из них для формирования следующей вредоносной команды.
Важно, что атака не требует активного участия пользователя после первого клика на ссылку, а значит, её можно маскировать под обычное сообщение.
Microsoft уже выпустила исправление после того, как о проблеме стало известно. Однако стоит отметить, что уязвимость была обнаружена только в Microsoft Copilot Personal, а не в Microsoft 365 Copilot. Тем не менее, эксперты предупреждают, что в зависимости от политик и уровня осведомлённости пользователей, подобные атаки могут быть использованы и в корпоративной среде.
Что делать разработчикам и специалистам по безопасности
Специалисты по безопасности рекомендуют рассматривать все внешние вводные данные как потенциально небезопасные. Особенно важно быть внимательным к ссылкам и необычному поведению приложений. Как отметил вице-президент по стратегии Saviynt Хенрике Тейшейра, атаки такого типа, как правило, начинаются с фишинговых сообщений. Поэтому рекомендуется соблюдать стандартные меры защиты: не кликать на подозрительные ссылки, не спешить с выполнением действий, не делиться личной информацией с неизвестными.
Тейшейра также подчеркнул необходимость внедрения фишингоустойчивой аутентификации не только на начальном этапе использования чат-бота, но и на протяжении всей сессии. Это требует от разработчиков внедрять меры безопасности на этапе проектирования приложений, а не добавлять их позже.
Рекомендации по минимизации рисков
Для минимизации рисков ключевым становится аудит прав доступа и внедрение принципа минимальных привилегий. Как отмечает Довель Талер, ИИ-ассистенты должны работать в условиях, где доступ к данным ограничен и все действия отслеживаются. Это позволяет снизить вероятность утечек и повысить уровень безопасности.
Дополнительно рекомендуется использовать непрерывную и адаптивную аутентификацию, а также проверять чистоту вводимых команд. Эти меры, по словам Талера, помогут снизить угрозы, связанные с атаками через URL и другие векторы.
ИИ как инструмент, требующий контроля
Другие эксперты отмечают, что подобные уязвимости — частый результат внедрения новых технологий без должного учёта безопасности. Как заявил Дэвид Шипли из Beauceron Security, ситуация похожа на сценарии из комиксов: «Как только вы знаете шутку, вы знаете, что произойдёт. Кошмар доверяет безумному продукту и использует его глупо».
В данном случае «продукт» — это LLM-технологии, которые могут выполнять любые действия, если им предоставлены соответствующие привилегии. Проблема в том, что такие модели не могут отличать содержимое от команд, поэтому они просто выполняют всё, что им говорят.
Шипли подчеркивает, что ИИ-ассистентам стоит ограничить доступ только к чатам в браузере. Предоставлять им больше привилегий — особенно в случае взаимодействия с контентом, поступающим через электронную почту, мессенджеры или веб-сайты — может привести к серьёзным последствиям.
Уязвимости ИИ-ассистентов: когда удобство становится воротами для атак
Атака Reprompt, обнаруженная исследователями Varonis Threat Labs, демонстрирует, что даже самые продвинутые ИИ-инструменты остаются уязвимыми, если их безопасность не учитывалась на этапе проектирования. Это событие — не просто техническая проблема, а сигнал о том, что подход к разработке ИИ-ассистентов требует пересмотра. Особенно это касается корпоративной среды, где ИИ-ассистенты имеют доступ к конфиденциальным данным и могут стать центральными точками атак.
Механизм атаки и её масштабные последствия
Атака Reprompt использует три ключевых техники: внедрение начального параметра в запрос, двойной запрос и цепочка последующих команд. После первого запроса, который может быть отфильтрован, злоумышленник отправляет второй — и на этот раз модель уже не блокирует его. Таким образом, атакующий получает возможность запускать серию команд, которые могут включать в себя запросы к личной информации пользователя.
Особую опасность представляет то, что атака не требует активного участия пользователя после первого клика на ссылку. Это делает её маскировку простой, а масштабирование — эффективным. Как отмечает Довель Талер, атакующий может использовать каждое из полученных ответов для формирования следующей вредоносной команды, что делает процесс сбора данных постепенным и менее заметным.
Важный нюанс: Удобство ввода запросов через URL делает ИИ-ассистенты уязвимыми для атак, которые не требуют активного участия пользователя после первого клика. Это снижает порог вовлечённости, необходимой для успешной атаки.
Важно также учитывать, что подобные атаки могут быть маскированы под обычное поведение пользователя, особенно если ИИ-ассистент имеет широкие привилегии в корпоративной среде. Это подтверждает данные из блока 29844, где описан метод атаки, при котором веб-сайты могут манипулировать ИИ-агентами, отправляя им вредоносные указания, невидимые для обычных пользователей. Такие атаки становятся возможными благодаря способности сайтов определять ИИ по цифровому «отпечатку» и предоставлять агентам альтернативную версию страницы.
Важный нюанс: ИИ-ассистенты, которые имеют широкие привилегии в корпоративной среде, становятся центральными точками атак. Их безопасность должна учитываться на этапе проектирования, а не добавляться как «после».
Угрозы через URL и браузеры
Разработка атак, использующих URL-адреса и браузеры, указывает на новую уязвимость в экосистеме ИИ-ассистентов. Как показывает блок 46712, браузер стал главной точкой утечки данных в корпорациях. ИИ-инструменты, встроенные в браузеры, а также неуправляемые расширения и учётные записи усиливают риски, связанные с передачей конфиденциальной информации и захватом сессий. Это особенно актуально в случае атак вроде Reprompt, где URL-адрес становится вектором проникновения.
Важный нюанс: Браузер — это не только инструмент, но и точка утечки данных. Внедрение атак через URL-адрес подчеркивает необходимость пересмотра всей браузерной архитектуры с точки зрения ИИ-безопасности.
Уязвимости ограничителей ИИ
Дополнительно, блок 47310 демонстрирует, как защитные механизмы ИИ могут быть обмануты минимальными изменениями ввода. Метод EchoGram, разработанный исследователями из HiddenLayer, позволяет обходить ограничители, добавляя специальные последовательности символов, которые меняют оценку ввода с вредоносного на безопасный. Это открывает возможность для атак типа prompt injection, при которых поведение модели меняется в соответствии с вредоносным запросом.
Важный нюанс: Даже минимальные изменения в запросе могут привести к срабатыванию уязвимости в моделях классификации текста и LLM-as-a-judge. Это подтверждает необходимость встроенной безопасности ИИ.
Важный нюанс: Безопасность ИИ-ассистентов должна учитываться на этапе проектирования, а не добавляться как «после». Это снижает вероятность утечек и повышает уровень безопасности.
Стандарты и государственная политика
На государственном уровне уже начали формироваться стандарты безопасности для ИИ. ФСТЭК планирует к концу 2025 года представить проект стандарта по безопасной разработке систем искусственного интеллекта. Документ будет учитывать уязвимости, специфичные для ИИ, и станет дополнением к общим стандартам безопасности ПО. Это поможет организациям обеспечивать безопасность на всех этапах работы с данными — от сбора до хранения и разметки.
Важный нюанс: Государственные стандарты безопасности для ИИ становятся важным элементом защиты. Они помогут компаниям минимизировать риски и повысить доверие к ИИ-технологиям.
Заключение
Атака Reprompt демонстрирует, что даже самые современные ИИ-инструменты не защищены от угроз, если их безопасность не учитывалась на этапе разработки. Для российского бизнеса особенно важно учитывать такие риски и внедрять меры защиты на ранних этапах внедрения ИИ-ассистентов. Только комплексный подход, включающий в себя контроль доступа, аудит и обучение сотрудников, может минимизировать угрозы, связанные с утечкой данных.
Важный нюанс: ИИ-ассистенты, разработанные без встроенной безопасности, становятся новым вектором атак, особенно в корпоративной среде.
Источник: computerworld.com
