Генеративный ИИ растёт — но безопасность отстаёт

По данным Cybersecurity-Insiders, внедрение генеративного ИИ в корпоративной среде растёт быстрее, чем большинство технологических инноваций. Организации используют его для автоматизации задач, включая написание кода и создание контента. Однако рост популярности ИИ несёт за собой и рост рисков, которые остаются недостаточно изученными и плохо защищёнными.

Расширяющаяся зона риска

Традиционные уязвимости, такие как инъекции в промпты, позволяют злоумышленникам обойти защитные механизмы, вывести конфиденциальную информацию или вызвать нежелательные результаты. Но это лишь начало. Генеративный ИИ создаёт совершенно новую зону риска из-за своей открытой, естественной языковой интерфейсной структуры.

Компании, такие как Lenovo, внедряют подходы вроде Secure by Design, которые адаптируются под продукты и услуги. В рамках этого подхода безопасность генеративного ИИ становится ключевым элементом новой стратегии, требующей внедрения защитных мер на всех этапах — от начальной обработки данных до постоянного мониторинга. Важным шагом становится пересмотр классификации данных, поскольку существующие методы недостаточно детализированы. Без точной маркировки и категоризации контроль доступа теряет эффективность, особенно при работе с крупными моделями, требующими широкого доступа к информации.

Риски резко возрастают в системах, где автономные ИИ-агенты взаимодействуют друг с другом. Такие архитектуры создают уникальные угрозы, поскольку автономное принятие решений и взаимосвязанные процессы усиливают риски. Каждое взаимодействие агентов может стать точкой проникновения, привести к утечке данных, повышению привилегий или манипуляциям, которые быстро распространяются по всей системе. В таких условиях традиционные методы мониторинга могут не сработать, если человек не остаётся в цикле с момента настройки до постоянной проверки.

Доверие, гибридность и управление

Разовые утечки данных — лишь вершина айсберга. Долгосрочные риски, такие как предвзятость выводов, могут серьёзно повредить репутацию компании. Особенно это критично для организаций в регулируемых отраслях, таких как здравоохранение или финансы, где нарушение норм может повлечь штрафы. В связи с этим внедрение этичного и ответственного ИИ становится обязательным. Гибридный подход к управлению должен охватывать все этапы жизненного цикла ИИ и включать в себя оценку каждого шага.

Организации должны следовать трём ключевым принципам:

• Доверенные источники данных: Модели должны обучаться только на проверенных и надёжных данных. Это снижает вероятность ошибок и утечек.
• Гаранты на уровне архитектуры: При выборе ИИ-фреймворка необходимо заранее задать правила, включая проверки на этапах ввода данных, поведения модели и формирования выводов.
• Постоянные тесты: Поскольку модели обучаются на новых данных, их поведение меняется. Это требует регулярной проверки до и после внедрения, чтобы выявлять смещение и предвзятость.

Эти меры позволяют создать культуру управления, ориентированную на безопасность и доверие. Важно, чтобы человек оставался в цикле — автоматизация не может обеспечить прозрачность и объяснимость выводов, особенно в высокорискованных отраслях. Перед внедрением результаты должны проверяться квалифицированными специалистами.

Закрытие разрыва в зрелости

Несмотря на осознание рисков, большинство организаций не обладают достаточными инструментами, моделями зрелости или обучением для обеспечения безопасности генеративного ИИ. Часто компании ограничиваются проверками на стадии запуска, тогда как безопасность ИИ требует непрерывного мониторинга на всех этапах — подобно решению на основе Zero Trust, где каждый шаг проверяется.

Внедрение такого подхода требует нескольких ключевых действий:

• Обучение не только технических команд, но и всех бизнес-функций, чтобы обеспечить единое понимание безопасности.
• Постоянная проверка моделей, аналогично регулярным обновлениям программного обеспечения.
• Интеграция DevSecOps в процессы разработки, чтобы безопасность была встроена в каждую стадию.
• Регулярная оценка прав доступа, с применением принципа минимальных привилегий.
• Использование автоматизированной маркировки данных с последующей проверкой людьми.
• Проведение симуляций инцидентов и разработки чётких процедур реагирования.

Доверие как основа

Организации всех типов уже признают трансформационный потенциал генеративного ИИ, но многие не готовы к его безопасности. Только те, кто внедрит культуру безопасности, которая будет распространяться во всей компании, смогут эффективно и безопасно использовать ИИ.

В следующей фазе развития ИИ внедрение само по себе недостаточно. Безопасность, управление и проверка должны быть встроены на каждом этапе. Инновации могут запустить процесс, но именно доверие обеспечит его устойчивость.

Интересно: Как обеспечить баланс между скоростью внедрения генеративного ИИ и необходимостью его полной безопасности, особенно в условиях быстро меняющихся угроз и недостатка зрелых методов управления?

i

Создано специально для ASECTOR

Концептуальное изображение

Когда ИИ ускоряется, а защита отстает

Скрытые уязвимости в языке

Генеративный ИИ — это не только новый инструмент, это новый способ взаимодействия с информацией. Его языковая природа, на первый взгляд, делает его доступным и удобным. Но именно это и создает уязвимости, которые неожиданно сложно обнаружить. Например, инъекции в промпты — это не техническая проблема, это атака на саму логику общения. Злоумышленник может встроить в запрос скрытую команду, которая заставит модель выдать конфиденциальную информацию, сгенерировать вредоносный код или просто вывести систему из строя.

Lenovo и другие крупные игроки уже начинают использовать подход Secure by Design, но он сталкивается с реальным вызовом: как маркировать и контролировать данные, если модель работает с гигабайтами информации, которые невозможно проверить вручную? Особенно если речь идет о крупных моделях, которые требуют доступа к огромному объему данных. Здесь возникает парадокс: чем мощнее модель, тем больше у нее возможностей — и тем больше рисков.

Важный нюанс: Без четкой маркировки данных и контроля доступа даже самые продвинутые модели становятся уязвимыми. Человек не может следить за каждым запросом, но система должна быть построена так, чтобы он был не нужен.

Агенты, которые принимают решения

Следующий уровень сложности — автономные ИИ-агенты. Они могут взаимодействовать друг с другом, принимать решения и действовать без участия человека. Это открывает путь к новым формам автоматизации, но также создает новые точки проникновения. Например, если один агент получает вредоносный запрос, он может передать его другому, и так — по цепочке. Проблема в том, что традиционные методы мониторинга не всегда срабатывают, если человек не в цикле. ИИ-агенты могут работать в режиме, где их действия не подвергаются человеческой проверке, что делает систему уязвимой.

Новый тип атаки позволяет веб-сайтам манипулировать автономными ИИ-агентами, отправляя им вредоносные указания, невидимые для обычных пользователей. Это становится возможным благодаря способности сайтов определять ИИ по цифровому «отпечатку» и предоставлять агентам альтернативную версию страницы. Атака подтверждена на практике: агенты, основанные на моделях Claude, GPT и Gemini, успешно выполняли нежелательные действия. Безопасность ИИ требует маскировки отпечатка, разделения функций агентов и внедрения сканеров для обнаружения скрытых угроз [!].

Доверие и этика: не только техническая задача

Доверие к ИИ — это не только вопрос безопасности, это вопрос репутации. Особенно для компаний в регулируемых отраслях, таких как финансы или здравоохранение. Ошибки в выводах могут привести к штрафам, судебным разбирательствам и потере доверия клиентов. Поэтому внедрение этичного и ответственного ИИ становится не только хорошей практикой, а необходимостью. Но как это реализовать?

Ключевые принципы, такие как использование только проверенных источников данных, архитектурные гарантии и постоянные тесты, — это не только рекомендации, а элементы новой культуры управления. Человек должен оставаться в цикле, особенно на этапах, где требуется объяснимость и прозрачность. Внедрение ИИ не должно происходить в вакууме — оно должно сопровождаться обучением, проверкой и постоянным контролем.

Как закрыть разрыв в зрелости

Многие компании осознают риски, но не готовы к их масштабу. Они используют одноразовые проверки на этапе запуска, тогда как безопасность ИИ требует непрерывного мониторинга. Это похоже на Zero Trust: каждый шаг должен проверяться, каждая модель — пересматриваться. Внедрение DevSecOps в процессы разработки, обучение не только технических команд, но и всех участников бизнеса — это дорога к более зрелой системе управления рисками.

Важный нюанс: Безопасность ИИ — это не разовый процесс, а постоянная работа. Компании, которые не встроят её в культуру, рискуют не только потерять данные, но и доверие клиентов и регуляторов.

Рост угроз: дипфейки и фишинг

Генеративный ИИ всё чаще используется для создания дипфейков и обхода биометрической аутентификации, что ставит под угрозу традиционные методы защиты данных. Утечки пользовательских данных из социальных сетей и публичных баз используются для формирования сложных масок, что делает уязвимыми традиционные методы идентификации. В ответ на эти угрозы компании начинают применять системы анализа поведения и геолокации, чтобы выявлять аномалии и предотвращать мошенничество [!].

В преддекабрьский период мошенники активно используют генеративный ИИ для создания фейковых интернет-магазинов, дипфейковых видео и фишинговых атак в соцсетях и мессенджерах. Организованные группы быстро разрабатывают поддельные сайты и рекламные кампании, что затрудняет их своевременное выявление и блокировку [!].

Уязвимости в защитных механизмах

Исследователи безопасности из HiddenLayer обнаружили метод, позволяющий обходить защитные механизмы больших языковых моделей, добавляя специальные последовательности символов, которые меняют оценку ввода с вредоносного на безопасный. Этот подход, названный EchoGram, демонстрирует, что даже минимальные изменения в запросе могут привести к срабатыванию уязвимости в моделях классификации текста и LLM-as-a-judge [!].

Управление рисками: новые вызовы

Более половины организаций внедрили инструменты ИИ для управления рисками, но их подготовка к нормативным требованиям к ИИ остаётся недостаточной. Активность внедрения ИИ в мае-июне 2025 года выросла, но в июле снизилась из-за замедления принятия решений и падения скорости внедрения [!].

Математическая неизбежность галлюцинаций в крупных языковых моделях требует изменения подходов к управлению рисками. Вместо попыток полностью исключить ошибки бизнесу необходимо внедрять процессы с участием человека, использовать ограничения по предметной области и постоянное наблюдение. Эксперты рекомендуют приоритетно выбирать поставщиков, предоставляющих оценки неуверенности и проверенные тесты, а также пересматривать существующие бенчмарки, которые поощряют генерацию ложной информации [!].

Заключение

Генеративный ИИ — это мощный инструмент, но его внедрение требует нового уровня ответственности. Без четких правил, постоянного контроля и культуры доверия он может стать не только помощником, но и уязвимостью. Компании, которые хотят использовать ИИ безопасно, должны начать с внутреннего аудита, обучения сотрудников и внедрения систем, где человек не выключен из процесса, а наоборот — встроен в него. Только так можно создать устойчивую систему, где инновации не угрожают безопасности, а усиливают её.