ИИ в разработке ПО: снижение критического мышления и рост киберугроз

По данным Cybersecurity-Insiders, рост внедрения искусственного интеллекта в процесс разработки программного обеспечения сопровождается ростом рисков. Исследования подтверждают, что при активном использовании ИИ у пользователей снижается уровень критического мышления, что может повлиять на качество и безопасность разрабатываемых решений.

В условиях, когда ИИ становится неотъемлемой частью разработки ПО, обучения программистов, контроля качества кода, безопасности SDLC, когнитивной нагрузки, внедрения уязвимостей, государственного регулирования и кибератак, бизнесу важно учитывать новые вызовы. Особенно это касается разработчиков, чья работа напрямую связана с безопасностью программных продуктов.

Изменения в когнитивной активности при использовании ИИ

Недавнее исследование, проведённое в MIT, сравнило когнитивную активность студентов, пишущих эссе тремя способами: с помощью ИИ, с помощью поисковых систем и без использования внешних инструментов. Для анализа применяли электроэнцефалографию (ЭЭГ). Результаты показали, что группа, которая писала без помощи ИИ, продемонстрировала наибольшую активность мозга. Студенты, использующие ИИ, в свою очередь, показали наименьшую активность и худшие результаты в воспроизведении содержания своих работ.

Это указывает на то, что при частом использовании ИИ-ассистентов снижается уровень вовлечённости, что, в свою очередь, влияет на способность критически оценивать информацию. Участники, писавшие с помощью ИИ, не могли точно воспроизвести текст своих эссе, а их работы легко отличались от рукописных. Такой подход, как отмечают эксперты, может негативно сказаться на развитии навыков программирования, особенно если разработчики начинают полагаться на ИИ вместо самостоятельного анализа.

Рост угроз в сфере кибербезопасности

Данные AI Index Report, подготовленного Стэнфордским университетом, демонстрируют, что в 2024 году 78% организаций применяли ИИ, что на 23% больше, чем в 2023. Рост использования ИИ сопровождается увеличением количества киберинцидентов, связанных с ИИ — на 56% за тот же период. При этом менее двух третей организаций внедрили меры по защите от угроз, что делает их уязвимыми.

Особое внимание требует безопасность SDLC, поскольку уязвимости в коде становятся ключевыми целями злоумышленников. ИИ может вносить уязвимости, например, в виде атак с инъекцией запроса, что требует от разработчиков постоянного обучения и анализа кода.

Нужда в переосмыслении подходов к обучению

Для минимизации рисков ключевым становится обучение разработчиков, ориентированное на безопасность. Исследование MIT предлагает модель, при которой человек начинает работу самостоятельно, а затем использует ИИ для улучшения. Такой подход, названный «Brain-to-LLM», показал более высокую когнитивную активность и лучшее воспроизведение информации.

Для обеспечения безопасности в условиях роста внедрения ИИ, кибератак, атак с инъекцией запроса и недостаточной защиты от ИИ-угроз, бизнесу необходимо формировать культуру, где безопасность и критическое мышление становятся естественной частью процесса разработки.

Интересно: Какие меры обучения и контроля позволят сохранить критическое мышление и повысить уровень безопасности в условиях роста зависимости от ИИ?

Рост зависимости от ИИ: когда удобство становится риском

Когда ИИ становится помощником, а не инструментом

Искусственный интеллект всё глубже проникает в процессы разработки программного обеспечения. Он помогает писать код, находить ошибки, обучать специалистов и даже участвует в принятии решений. Однако за этим удобством скрывается важный сдвиг: у людей снижается когнитивная активность. Это не просто усталость от работы — это изменение самого процесса мышления. Когда ИИ делает за нас часть работы, мы начинаем меньше думать, меньше анализировать, а значит, больше рисковать.

Исследование из MIT показало, что студенты, пишущие эссе с помощью ИИ, демонстрировали меньшую активность мозга и худшие результаты в воспроизведении материала. Это означает, что ИИ может стать не помощником, а препятствием в развитии навыков. В сфере разработки программного обеспечения это особенно критично: если разработчики перестают критически оценивать код, риски появления уязвимостей резко растут.

Важный нюанс: ИИ может ускорить процесс, но не заменить понимание. Чем больше мы полагаемся на автоматизацию, тем больше теряем навыки, которые в критический момент могут спасти проект.

Рост угроз: ИИ как инструмент и как цель

В 2024 году 78% организаций использовали ИИ, что на 23% больше, чем в предыдущем году. При этом количество киберинцидентов, связанных с ИИ, выросло на 56%. Это не случайность. Злоумышленники начали использовать ИИ для атак — например, для инъекций в код или создания дипфейков. А значит, сам ИИ становится и инструментом угрозы, и её объектом.

Сложность ситуации в том, что большинство компаний не готовы к этим вызовам. Менее двух третей организаций внедрили меры по защите от ИИ-угроз. Это означает, что даже при наличии ИИ-ассистентов, направленных на повышение безопасности, бизнес остаётся уязвимым. Особенно в сфере SDLC (жизненный цикл программного обеспечения), где уязвимости в коде могут стать лазейкой для киберпреступников.

Новые данные показывают, что злоумышленники уже используют ИИ-модели в реальных атаках, создавая вредоносные инструменты, способные адаптироваться и менять поведение в процессе работы. Такие инструменты, как QuietVault, PromptSteal и FruitShell, уже применяются для кражи данных и обхода систем безопасности. Другие экспериментальные модели, включая PromptLock и PromptFlux, генерируют вредоносные скрипты и переписывают свой код через API, чтобы избежать обнаружения [!]. Это подчеркивает, что угрозы, связанные с ИИ, уже не теоретические — они реальны и масштабны.

Переосмысление обучения и культуры безопасности

Для минимизации рисков необходимо менять подходы к обучению разработчиков. Исследование MIT предлагает модель, где человек начинает работу самостоятельно, а затем использует ИИ для улучшения. Такой способ, названный «Brain-to-LLM», показывает, что когнитивная активность и качество работы остаются на высоком уровне.

Важно не просто обучать ИИ, но и обучать с его помощью — но не в ущерб самостоятельному мышлению. Это особенно актуально для российских компаний, где кадровый дефицит в сфере ИТ и кибербезопасности остаётся острым. ИИ может стать мощным инструментом, но только если он используется как часть процесса, а не как его замена.

Важный нюанс: Безопасность — это не только технологии, это культура. ИИ может помочь, но не заменит осознанное отношение к рискам и постоянное обучение.

i

Создано специально для ASECTOR

Концептуальное изображение

Рост уязвимостей и ответственность за данные

В 2025 году 85% организаций столкнулись с утечкой данных, причём в половине случаев виновниками стали сотрудники или подрядчики. Рост объёмов корпоративной информации, сложности с отслеживанием конфиденциальных данных и увеличение рисков, связанных с использованием генеративных ИИ-инструментов, усиливают нагрузку на команды безопасности [!]. Интеграция ИИ в бизнес-процессы создаёт новые точки уязвимости, связанные с обработкой конфиденциальной информации. Генеративные ИИ-инструменты могут неосознанно раскрывать данные, если сотрудники вставляют их в публичные системы или используют модели, обученные на корпоративной информации.

Эти данные подчеркивают, что внедрение ИИ требует не только технической подготовки, но и строгой политики управления данными. Без чёткой стратегии и регулярного аудита риски утечек и неправомерного использования информации значительно возрастают. Особенно это касается компаний, которые используют ИИ-ассистентов для автоматизации рутинных задач, включая обработку конфиденциальных документов и переписки.