ИИ-код содержит больше ошибок и уязвимостей, чем человеческий — в 1,7 раза

По данным The Register, исследование, проведённое платформой CodeRabbit, выявило, что использование ИИ для написания кода увеличивало как количество, так и серьёзность ошибок, требующих проверки. Результаты анализа 470 открытых pull - запросов, опубликованные в отчёте «State of AI vs Human Code Generation», показывают, что код, сгенерированный с помощью искусственного интеллекта, содержит больше дефектов в области логики, поддерживаемости, безопасности и производительности по сравнению с кодом, написанным людьми.

Количество проблем

В среднем, pull - запросы, созданные с участием ИИ, содержат 10,83 ошибки, тогда как у человеческих — 6,45. Это означает, что объём ошибок в случае с ИИ возрастает примерно в 1,7 раза. В свою очередь, критические и значительные ошибки также встречаются чаще: 1,4 и 1,7 раза соответственно. Такие показатели требуют большего времени на проверку и повышают риски возникновения дефектов в готовом продукте.

Категории ошибок

Код, сгенерированный ИИ, уступает человеческому по всем ключевым категориям:

• Логика и корректность - ошибки в 1,75 раза чаще;
• Проблемы с поддерживаемостью и качеством кода — 1,64 раза;
• Найденные уязвимости в безопасности — 1,57 раза;
• Вопросы производительности — 1,42 раза.

В плане конкретных угроз, ИИ-код чаще содержит:

• Неправильную обработку паролей — 1,88 раза;
• Небезопасные ссылки на объекты — 1,91 раза;
• Уязвимости XSS — 2,74 раза;
• Небезопасную сериализацию — 1,82 раза.

Однако, в одном аспекте ИИ превосходит человека — орфографические ошибки в комментариях к коду встречаются в 1,76 раза реже. Также, по сравнению с человеческим кодом, ИИ-код содержит на 32% меньше проблем, связанных с тестированием.

Другие исследования

Другие работы, основанные на иных данных, пришли к различным выводам. Например, исследование, опубликованное в августе 2025 годом учёными из Неаполитанского университета, показало, что ИИ-код, как правило, проще и повторяется чаще, но при этом содержит больше неиспользуемых конструкций и жёстко заданных отладочных фрагментов. У человеческого кода, напротив, структура сложнее, а проблем с поддерживаемостью — больше.

В январе 2025 года исследователи из Монашского университета (Австралия) и Венгерского университета Отаго (Новая Зеландия) опубликовали работу, в которой отмечали, что GPT-4 способен создавать рабочие решения, но они часто требуют доработки. При этом, по их данным, код, сгенерированный GPT-4, проходит больше тестовых случаев, чем человеческий.

Производительность и безопасность

Исследование, проведённое в июле группой Model Evaluation & Threat Research (METR), показало, что инструменты ИИ могут снижать продуктивность разработчиков. В свою очередь, Microsoft заявила, что в определённых репозиториях 30% кода написан с помощью ИИ, а сопровождение инструмента Copilot Actions сопряжено с определёнными рисками безопасности.

Ключевой вызов: Как обеспечить высокий уровень качества и безопасности при использовании ИИ для автоматизации разработки, учитывая, что сгенерированный код требует более тщательной проверки и может содержать значительные уязвимости?

Когда ИИ пишет код — кто проверяет ИИ?

Использование искусственного интеллекта в разработке программного обеспечения давно вышло за рамки экспериментов. Сегодня ИИ-ассистенты вроде GitHub Copilot или CodeRabbit становятся частью повседневной работы программистов. Но чем больше кода генерируется ИИ, тем больше возникает вопросов: действительно ли он лучше, быстрее и безопаснее, чем человеческий?

Почему ИИ-код требует больше проверки

Анализ 470 pull-запросов, проведённый CodeRabbit, показывает, что сгенерированный ИИ код содержит в среднем на 70% больше ошибок, чем написанный вручную. Особенно критично, что ИИ чаще допускает логические ошибки, уязвимости безопасности и проблемы с производительностью. Например, уязвимости XSS — типичная проблема в веб-разработке — встречаются в сгенерированном коде в 2,74 раза чаще. Это не просто статистика: это означает, что каждый разработчик, внедряющий ИИ-код, сталкивается с необходимостью более тщательной проверки [!].

Ключевой момент: ИИ не просто заменяет программиста — он меняет характер его работы. Вместо написания кода, разработчик превращается в проверяющего, и его задача становится сложнее, а не проще.

i

Создано специально для ASECTOR

Концептуальное изображение

Кто выигрывает, а кто теряет

На первый взгляд, ИИ обещает экономию времени и снижение затрат. Но если код требует больше ручной проверки, то выгода может быть иллюзорной. Особенно это касается компаний, где разработка ПО — это не единичный проект, а часть масштабной экосистемы. В таких условиях ИИ может создать иллюзию прогресса, но на деле увеличить долгосрочные издержки.

С другой стороны, ИИ-ассистенты могут быть полезны в образовательных целях, для быстрого прототипирования и в мелких проектах, где качество кода не критично. Однако в критически важных системах — от банковских приложений до транспортных систем — использовать ИИ без глубокой проверки — это риск, который может обернуться реальными последствиями.

Важный нюанс: ИИ не устраняет ошибки — он меняет их тип. Вместо грамматических и стилистических ошибок, которые человек легко замечает, ИИ производит ошибки в логике и безопасности, которые гораздо сложнее выявить.

Как это влияет на российский рынок

Для российских компаний, которые активно внедряют ИИ в разработку ПО, особенно важно учитывать этот сдвиг. С одной стороны, ИИ позволяет ускорить разработку и снизить порог входа в рынок для новых игроков. С другой — он требует новых подходов к тестированию, аудиту и обучению персонала. Это может стать дополнительной нагрузкой на уже перегруженные ресурсы.

В долгосрочной перспективе, компании, которые не будут учитывать эти особенности, рискуют столкнуться с ростом технической задолженности, увеличением времени на сопровождение и снижением общей надёжности продуктов. Это особенно актуально для отраслей, где безопасность и устойчивость — ключевые факторы.

Важный нюанс: Внедрение ИИ в разработку ПО не снижает требования к качеству — оно их меняет. И если не пересмотреть процессы контроля, риски могут превзойти выгоды.

Новые вызовы: инфраструктура и безопасность

Однако ИИ не только влияет на качество кода — он становится центральным элементом в архитектуре современных систем. Рост спроса на ИИ-инфраструктуру уже привёл к дефициту оперативной памяти DRAM, что вызвало резкий рост цен на рынке. Производители, такие как G. SKILL и Micron, констатируют нестабильность поставок, а цены на комплекты памяти выросли более чем в три раза [!].

В этой же сфере SK hynix и NVIDIA разрабатывают SSD нового поколения, оптимизированный под задачи инференса искусственного интеллекта. Устройство, получившее внутреннее название Storage Next, должно обеспечить рекордную производительность и стать промежуточным слоем между памятью и накопителями, чтобы справляться с масштабами данных современных ИИ-моделей [!].

Такие изменения в инфраструктуре подчёркивают, что ИИ — это не только вопрос алгоритмов, но и масштабной перестройки всей технической экосистемы. Это особенно важно для компаний, которые планируют развивать собственные ИИ-продукты или внедрять их в существующие решения.

Долгосрочные стратегии для российского бизнеса

Для российских компаний, которые хотят эффективно использовать ИИ, важно учитывать не только текущие риски, но и долгосрочные тенденции. Среди них:

• Усиление процессов проверки и тестирования. В условиях увеличения количества ошибок в сгенерированном коде, автоматизированные и ручные проверки становятся неотъемлемой частью процесса.
• Обновление навыков персонала. Разработчики должны быть обучены не только писать код, но и анализировать, тестировать и аудировать ИИ-решения.
• Интеграция ИИ в существующие процессы. Внедрение ИИ не должно происходить вне контекста текущих бизнес-процессов. Его нужно интегрировать в уже сложившиеся практики, чтобы не создавать дополнительной нагрузки.
• Контроль над инфраструктурой. Рост цен на компоненты ИИ-инфраструктуры требует пересмотра стратегий закупок и распределения ресурсов. Компаниям нужно учитывать не только стоимость разработки, но и стоимость эксплуатации.
• Снижение зависимости от внешних поставщиков. Учитывая риски, связанные с глобальными колебаниями рынка, важно развивать внутренние ИИ-инициативы и создавать собственные решения, где это возможно.

Эти шаги помогут не только минимизировать риски, но и использовать потенциал ИИ для устойчивого роста и инноваций.