GenAI в компаниях: рост утечек данных и уязвимостей
Генеративный ИИ активно внедряется в корпоративные процессы, что приводит к росту объёмов передаваемых данных и увеличению рисков утечек. Анализ показал, что значительная доля файлов и запросов содержит конфиденциальную информацию, а пользовательское поведение усиливает уязвимости, особенно в неутверждённых ИИ-приложениях и цепочках поставок.
По данным Helpnetsecurity, генеративный ИИ (GenAI) активно внедряется в корпоративные процессы, меняя подходы к созданию, обмену и хранению информации. Вместе с этим растёт число угроз для безопасности, связанных с утечкой данных и сложностью их отслеживания.
Распространение GenAI и рост уязвимостей
Второй квартал 2025 года показал значительное увеличение объёма данных, передаваемых пользователями в GenAI-приложения. Анализ 1 млн запросов и 20 тыс. загруженных файлов выявил, что 22% файлов и 4,37% запросов содержат конфиденциальную информацию. Среди них — исходные коды, логины, финансовые документы и данные о клиентах. Это создаёт серьёзные риски утечки, особенно при отсутствии чётких политики и контроля.
Повышение рисков из-за пользовательского поведения
Работники компаний всё чаще используют GenAI-инструменты, такие как Microsoft Copilot, для создания пользовательских приложений и агентов. Рост в 50% за год привёл к увеличению числа теневых ИИ-приложений, не утверждённых IT-отделом. Это усугубляет проблему безопасности, поскольку такие приложения часто не подчиняются корпоративным стандартам и могут содержать уязвимости.
Недостаток готовности корпоративной политики
Несмотря на рост интереса к GenAI, менее трети организаций внедрили формальные политики по его использованию. 63% компаний обеспокоены тем, что ИИ может быть использован против них. При этом только 18% инвестируют в инструменты распознавания дипфейков, что создаёт значительный разрыв между угрозой и защитой.
Технические слабые места
Одной из ключевых проблем остаётся тестирование GenAI-приложений. Всего 66% компаний регулярно проверяют свои решения, а 48% считают необходимым приостановить развитие для усиления защитных мер. В то же время 95% компаний проводили пентесты, но лишь 21% найденных уязвимостей были устранены. Среди них — инъекции запросов, манипуляции с моделью и утечка данных.
Увеличение объёма передаваемых данных
Объём данных, передаваемых в GenAI-приложения, вырос в 30 раз за год. В среднем организация отправляет более 7,7 ГБ данных ежемесячно, включая защищённые данные, ключи доступа, исходные коды и интеллектуальную собственность. Это резко повышает вероятность утечек и нарушений регулятивных требований.
Риски в цепочке поставок
GenAI также меняет подходы к управлению цепочками поставок. 97% компаний уже используют ИИ в этих процессах, но лишь 33% применяют специализированные инструменты. 43% выразили обеспокоенность по поводу использования и передачи данных при применении GenAI, а 40% не доверяют точности его выводов. Это создаёт дополнительные сложности для обеспечения надёжности и прозрачности.
Недостаточная прозрачность в обработке данных
Исследование показало, что пользователи GenAI-платформ часто не знают, как их данные используются, передаются ли они третьим лицам и в какой форме. Анализ 11 категорий выявил, что многие платформы недостаточно раскрывают свои политики конфиденциальности, что снижает уровень доверия.
Возможности для финансового сектора
В банковском и финансовом секторе GenAI открывает широкие возможности, особенно в анализе неструктурированных данных. Однако внедрение требует усиления контроля. 10% запросов в GenAI-приложения рискуют утечкой данных, а 8,5% содержат конфиденциальную информацию. Это требует разработки стратегий, обеспечивающих безопасность и соответствие нормам.
Интересно: Как обеспечить безопасность данных при росте использования GenAI, если угрозы и уязвимости развиваются быстрее, чем защитные меры?
Когда ИИ работает на человека — а человек не знает, что работает на ИИ
Рост популярности генеративного ИИ в корпоративной среде — это не только технологический тренд. Это сдвиг в поведении сотрудников, который меняет баланс сил внутри организаций. Работники, используя ИИ для автоматизации задач, часто делают это вне поля зрения ИТ-отделов. Это создаёт новую реальность, где безопасность данных становится не столько вопросом технологий, сколько вопросом управления поведением.
Когда сотрудники становятся провайдерами угроз
Microsoft Copilot и подобные инструменты становятся не только помощниками, но и проводниками конфиденциальной информации в сторонние системы. Второй квартал 2025 года показал, что каждый пятый загружаемый файл содержит данные, которые не должны покидать корпоративную сеть. Это не всегда происходит намеренно — чаще всего это результат недостаточной осведомлённости или слишком высокого доверия к удобству [!].
Важный нюанс: Утечка данных начинается не с хакеров, а с пользователей, которые не понимают, что вводят в ИИ-системы. Это делает их самыми слабыми звеньями в цепочке безопасности.
Политики, которые не успевают
Менее трети компаний имеют чёткие правила использования генеративного ИИ. Это не потому, что они не видят рисков — наоборот, 63% организаций обеспокоены потенциальными угрозами. Проблема в том, что формирование таких политик требует времени, ресурсов и согласования между разными подразделениями. В то же время, инвестиции в защиту от дипфейков и других атак остаются на крайне низком уровне.
Важный нюанс: Скорость внедрения ИИ превышает скорость создания защитных мер. Это создаёт разрыв, который злоумышленники уже начали использовать.
Скрытые угрозы в цепочке поставок
ИИ меняет не только внутренние процессы, но и подходы к управлению поставщиками. Компании активно внедряют ИИ для анализа контрактов, прогнозирования спроса и оптимизации логистики. Однако большинство не готовы к тому, как ИИ может быть использован для манипуляций с данными или подделки информации. Даже если модель кажется точной, она может содержать смещения, которые сложно выявить без специализированных инструментов.
Важный нюанс: Увеличение доверия к ИИ в цепочках поставок может стать ловушкой, если не обеспечить прозрачность и контроль за процессами [!].
Утечки через автономные агенты
Новые данные подтверждают, что риски не ограничиваются действиями сотрудников. Автономные ИИ-агенты, такие как Copilot, получают всё больше полномочий для выполнения задач от имени пользователей. Однако они могут ошибаться, выполняя неожиданные или вредоносные команды. Такие ошибки, как переименование папок вместо форматирования диска, могут подорвать доверие пользователей. Подобные инциденты уже случались в других компаниях, включая Google и Replit, где ИИ-агенты удаляли данные или создавали фиктивные записи [!].
Важный нюанс: Рост автономности агентов требует усиления контроля, особенно при работе с конфиденциальной информацией [!].
Угрозы из-за галлюцинаций
Одной из часто недооцениваемых угроз является склонность генеративных моделей к галлюцинациям — выдаче ложной информации. Это проявляется в создании фиктивных ссылок, данных или интерпретаций, особенно при сложных запросах. Для снижения рисков рекомендуют использовать конкретные формулировки, ограничивать источники данных и применять режимы Smart и Deep Research. Однако автоматическая верификация недостаточна: факты требуют ручной проверки через независимые источники, особенно в юридических, медицинских или научных задачах [!].
Важный нюанс: Галлюцинации становятся реальной угрозой для бизнеса, особенно в сфере принятия решений. Необходимо внедрять процессы с участием человека и использовать ограничения по предметной области [!].
Утечки через сторонние сервисы
Дополнительные данные показывают, что утечки данных происходят не только через ИИ-агентов, но и через популярные онлайн-инструменты разработчиков. Например, сервисы форматирования кода, такие как JSONFormatter и CodeBeautify, сохраняют и публично выставляют введённые пользователем данные, включая конфиденциальную информацию. В результате было обнаружено более 80 000 записей с участием организаций из разных отраслей. Эксперимент с canary tokens подтвердил, что злоумышленники могут получить доступ к этим данным [!].
Важный нюанс: Популярные сервисы становятся новыми векторами атак. Компаниям следует пересмотреть политики использования сторонних инструментов и внедрять меры по защите данных.
Выводы и рекомендации
- Усиление политики и контроля: Необходимо сформировать чёткие правила использования ИИ, включая ограничения на загрузку конфиденциальных данных и использование сторонних сервисов [!].
- Обучение сотрудников: Увеличение осведомлённости о рисках, связанных с ИИ, поможет снизить число случайных утечек. Регулярные тренинги и симуляции атак повысят уровень цифровой культуры [!].
- Инвестиции в защиту: Компании должны уделить внимание инструментам распознавания дипфейков и других атак. Внедрение систем анализа поведения и геолокации поможет выявлять аномалии [!].
- Контроль автономных агентов: Для работы с ИИ-агентами необходимо внедрять централизованные платформы управления, которые позволят контролировать действия агентов и минимизировать потенциальные угрозы [!].
- Прозрачность и маркировка: Внедрение механизмов маркировки контента, сгенерированного ИИ, повысит доверие и поможет пользователям определять источник информации [!].
Развитие генеративного ИИ не должно происходить в ущерб безопасности. Успех в этой области зависит от умения адаптироваться к новым рискам, внедрять меры защиты и сохранять баланс между инновациями и контролем.
Источник: helpnetsecurity.com
