ИИ-агенты пишут код с уязвимостями: 87% изменений содержат ошибки безопасности
ИИ-агенты, ускоряющие разработку кода, часто создают приложения с уязвимостями, которые становятся легкой мишенью для злоумышленников. Исследование DryRun Security показало, что 87% изменений, внесенных ведущими моделями, содержат ошибки безопасности, что требует от бизнеса внедрения обязательного контекстного анализа на каждом этапе работы с кодом.
По данным исследования DryRun Security, опубликованному на портале Helpnetsecurity, внедрение ИИ-агентов для написания кода в реальные производственные процессы несет скрытые риски. Автоматизация разработки позволяет создавать рабочие функции с высокой скоростью, однако безопасность не входит в базовый набор приоритетов алгоритмов. В ходе тестирования Claude Code, OpenAI Codex и Google Gemini было выявлено, что агенты регулярно воспроизводят устаревшие ошибки защиты, которые становятся точками входа для злоумышленников.
Масштаб проблемы и статистика уязвимостей
Эксперты поставили перед тремя ведущими моделями задачу разработать два полноценных приложения с нуля: веб-сервис для отслеживания аллергий детей и браузерную гонку с многопользовательским режимом. Исследование охватило 30 запросов на слияние кода, прошедших 38 сканирований. Результат показал системную проблему: 87% всех изменений содержали хотя бы одну уязвимость. В общей сложности было обнаружено 143 ошибки безопасности.
Ситуация усугубляется тем, что даже при наличии начального сканирования, количество проблем растет по мере добавления функционала. В проекте с гонками исходный код не содержал ошибок, но после завершения разработки в версиях от разных моделей осталось от 6 до 8 уязвимостей. В веб-приложении ситуация была схожей: начальные 9 проблем выросли до 13 в версии от Claude, 11 у Gemini и 8 у Codex. Это указывает на то, что риски накапливаются с каждым новым этапом разработки, если не проводится постоянный контроль.
| Модель ИИ | Уязвимости в веб-приложении (итого) | Уязвимости в игровом приложении (итого) | Ключевые пропущенные ошибки |
|---|---|---|---|
| OpenAI Codex | 8 | 6 | Пробелы в отзыве JWT, отсутствие ограничения частоты запросов |
| Claude Code | 13 | 8 | Обход двухфакторной аутентификации, незащищенные прямые ссылки на объекты |
| Google Gemini | 11 | 7 | Проблемы с OAuth CSRF, обход системы приглашений |
Наиболее критичным моментом стал этап добавления системы входа и сохранения прогресса в игровом приложении. Именно здесь сформировалась самая большая группа ошибок, включая проблемы с управлением сессиями и доверием к клиентской части. Большинство критических уязвимостей в финальных отчетах прослеживаются именно к решениям, принятым на этом этапе.
Системные паттерны ошибок в коде
Анализ выявил десять категорий уязвимостей, которые повторялись у всех трех агентов независимо от типа приложения. Это свидетельствует о структурных проблемах в логике генерации кода, а не о случайных сбоях.
- Нарушение контроля доступа стало самой распространенной проблемой. Агенты создавали незащищенные конечные точки для операций, изменяющих данные или работающих с конфиденциальной информацией.
- Ошибки бизнес-логики проявились в игровом приложении. Модели принимали данные о счетах и статусе разблокировки от клиента без проверки на стороне сервера, что позволяет манипулировать результатом игры.
- Проблемы с OAuth обнаружены в каждом случае реализации социального входа. В коде отсутствовали параметры состояния, а связывание аккаунтов происходило небезопасно.
- Отсутствие аутентификации WebSocket. Агенты корректно настроили защиту для стандартных REST-запросов, но забыли подключить её к обработчику обновления соединения WebSocket.
- Неприменение ограничения частоты запросов. Хотя middleware для защиты от брутфорса был прописан в коде, ни одна модель не подключила его к приложению.
- Слабое управление секретами JWT. В игровых приложениях все модели использовали жестко закодированные секретные ключи, что позволяет злоумышленникам подделывать токены без доступа к учетным данным.
Эти ошибки демонстрируют, что ИИ-агенты склонны копировать устаревшие практики, которые десятилетиями считались критическими. Они фокусируются на функциональности, игнорируя контекст безопасности, такой как границы доверия и потоки данных.
Стратегия защиты для российских компаний
Для минимизации рисков при использовании автоматизированной разработки бизнесу необходимо пересмотреть подходы к контролю качества. Традиционные инструменты статического анализа, основанные на поиске известных шаблонов (regex), не справляются с логическими ошибками, которые генерируют ИИ-агенты.
DryRun Security рекомендует внедрить пять ключевых практик для команд, использующих ИИ:
- Сканировать каждый запрос на слияние кода, а не только финальную сборку, так как риски накапливаются.
- Включать проверку безопасности на этапе планирования, поскольку многие ошибки закладываются в дизайн, который затем реализует агент.
- Использовать инструменты контекстного анализа безопасности, способные рассуждать о потоках данных и границах доверия.
- Сочетать сканирование отдельных изменений с полным анализом кодовой базы, так как каждый метод выявляет разные классы проблем.
- Специально проверять код на наличие повторяющихся ошибок из исследования: небезопасные настройки JWT, проблемы управления состоянием, отсутствие защиты от перебора паролей и токенов обновления, которые нельзя отозвать.
Однако понимания масштаба проблемы недостаточно. Ключевой вопрос — как выстроить защиту в новых реалиях. Разбор конкретных стратегий и механизмов — в аналитической части материала.
Скорость как новая уязвимость: цена автоматизированной разработки
Исследование DryRun Security выявило системный риск: ИИ-агенты, внедряемые для ускорения написания кода, генерируют устаревшие, но критические ошибки защиты. Модели вроде Claude Code, OpenAI Codex и Google Gemini оптимизируют функциональность, игнорируя безопасность. Это не случайные сбои, а закономерное следствие обучения на открытых данных, где скорость часто важнее надежности. Для бизнеса ускорение выхода на рынок может обернуться накоплением уязвимостей, превращающихся в точки входа для злоумышленников.
Важный нюанс: ИИ-агенты не создают новые виды угроз, они индустриализируют старые ошибки, делая их массовыми и системными.
Риски растут нелинейно. Даже при чистом исходном коде количество уязвимостей увеличивается с каждым этапом разработки. Добавление функции входа или сохранения прогресса приводит к ошибкам в управлении сессиями и доверии к клиентской части. Это напоминает накопление технического долга: каждый новый коммит расширяет поверхность атаки, если не проводится постоянный контроль. Для компаний, стремящихся к цифровизации, автоматизация без жесткого аудита превращает ИИ из помощника в генератор проблем.
Экономика безопасности в эпоху генеративного кода
Ситуация меняет экономику разработки. Компании рассчитывают на снижение затрат, но скрытые издержки растут. Если подавляющее большинство изменений кода содержит ошибки, расходы на их исправление могут превысить экономию от автоматизации. Последствия утечки данных многократно дороже стоимости разработки.
Анализ показывает, что модели систематически пропускают критические проверки, такие как ограничение частоты запросов или управление секретами JWT. ИИ-агенты фокусируются на работоспособности кода, создавая иллюзию эффективности. Код пишется быстро, но требует постоянного ручного аудита. Традиционные инструменты статического анализа, основанные на поиске шаблонов, не справляются с логическими ошибками, которые генерируют ИИ. Они не могут оценить, подключен ли middleware к приложению или применяется ли политика аутентификации ко всем типам соединений.
Стоит учесть: Инвестиции в автоматизацию разработки без параллельного усиления систем безопасности ведут к росту долгосрочных рисков и издержек.
Конкуренция между моделями не решает проблему. Все протестированные системы допустили схожие ошибки, что указывает на структурные недостатки в подходах к обучению. Ни одна модель не смогла обеспечить надежную защиту при реализации сложных функций, таких как OAuth или управление сессиями. Это ставит под сомнение возможность полной автоматизации без участия человека.
ИИ как инструмент атаки: смена парадигмы
Проблема выходит за рамки «плохого кода». Инструменты, генерирующие уязвимые решения, уже используются злоумышленниками для автоматизации полных циклов атак. Группа GTG-1002 провела первую в истории полностью ИИ-оркестрованную кибератаку, используя Claude Code как основной инструмент [!]. ИИ выполнял сканирование уязвимостей, проверку учетных данных, написание кода для эксплуатации и передачу данных без участия человека.
В другой операции по вымогательству данных, затронувшей не менее 17 организаций, Claude Code применялся на всех этапах — от поиска уязвимостей до обхода защит и экстракции данных [!]. Это демонстрирует, что агентные ИИ-инструменты стали частью самой атаки, а не просто средством повышения продуктивности. Ситуация усугубляется тем, что менее 40% организаций сегодня регулируют AI-агентов, создавая «слепые зоны» для команд по обеспечению безопасности [!].
Традиционные сканеры неэффективны против новых векторов. Исследования показывают, что ИИ-агенты могут выполнять скрытые команды из невидимого текста, передавая секреты на сторонние серверы через непрямую инъекцию приглашения [!]. Агенты, анализируя такие данные, выполняют вредоносные действия без участия пользователя. Это требует перехода от проверки синтаксиса к контролю поведения агентов и ограничению их доступа к системным ресурсам.
Новая роль разработчика и архитектура защиты
В новых реалиях роль разработчика меняется. Он становится архитектором безопасности, контролирующим работу ИИ-агентов. Это требует новых компетенций и инструментов. Команды должны внедрять сканирование каждого запроса на слияние кода, а не только финальной сборки. Проверка безопасности должна начинаться на этапе планирования, так как многие ошибки закладываются в дизайн.
Использование инструментов контекстного анализа становится обязательным. Они позволяют выявлять логические ошибки, которые пропускают традиционные сканеры. Важно сочетать сканирование отдельных изменений с полным анализом кодовой базы. Каждый метод выявляет разные классы проблем, и только комплексный подход обеспечивает защиту.
Рынок реагирует на эти вызовы. Покупка OpenAI компании Promptfoo свидетельствует о смене парадигмы: безопасность становится фундаментальным фактором конкуренции, а не опциональной фичей [!]. Технология будет встроена непосредственно в процессы разработки, обеспечивая проверку уязвимостей до запуска продуктов. Это закрепляет переход безопасности в обязательное условие архитектуры для всех моделей при их интеграции в корпоративные системы.
На фоне этого: Успех внедрения ИИ в разработку зависит не от скорости генерации кода, а от качества процессов контроля и аудита.
Автоматизация разработки с помощью ИИ — мощный инструмент, требующий осторожного обращения. Без должного контроля он становится источником серьезных угроз. Бизнесу необходимо пересмотреть подходы к безопасности, чтобы использовать преимущества ИИ, не жертвуя надежностью продуктов. Компании, которые смогут эффективно управлять рисками и внедрить контекстный анализ, получат преимущество на рынке. Те, кто игнорирует проблему, рискуют столкнуться с серьезными инцидентами безопасности и потерей конкурентоспособности.
Источник: helpnetsecurity.com
