Галлюцинации ИИ падают до 37%: бизнес пересматривает риски делегирования задач агентам

По данным издания Tom's Hardware, глобальная индустрия полупроводников переориентируется на удовлетворение взрывного спроса на инфраструктуру для центров обработки данных искусственного интеллекта. Инвестиции исчисляются миллиардами долларов, что задает беспрецедентный темп развития отрасли с момента появления ChatGPT. Ключевой вопрос для бизнеса сместился с простого внедрения технологий на оценку их реальной эффективности и анализ сопутствующих рисков.

Эксперты фиксируют, что машинное обучение уже демонстрирует измеримые результаты в медицине, материаловедении и метеорологии. Однако скептицизм относительно дальнейшего прогресса традиционных больших языковых моделей (LLM) сохраняется даже среди руководителей ведущих корпораций. Основные барьеры для массового внедрения остаются неизменными: склонность к галлюцинациям, неопределенность знаний и чрезмерная уверенность в неверных ответах. Визуальные генераторы также сталкиваются с проблемами точности, хотя частота ошибок снижается ежемесячно.

Архитектура современных моделей и механизмы работы

Фундаментальное улучшение качества работы ИИ достигается за счет расширения контекстных окон и увеличения количества параметров. Контекстные окна выросли с 512 токенов в 2018 году до более чем миллиона единиц в текущих версиях, что увеличило рабочую область модели в 2000 раз. Это позволяет системам удерживать в памяти большие объемы данных, анализировать целые репозитории кода и документы, обеспечивая многоступенчатое логическое мышление.

Количество параметров определяет способность модели улавливать сложные взаимосвязи между фактами. Исследовательские модели требуют триллионов параметров, тогда как для простых задач поиска достаточно нескольких миллиардов. Рост вычислительной мощности привел к увеличению объемов обучающих данных: с 13 миллиардов токенов в 2018 году до более чем 20 триллионов сегодня. Видео-генераторы анализируют миллиарды клипов вместо миллионов, что напрямую влияет на реалистичность итогового продукта.

Ключевыми технологиями современного этапа стали мультимодальность и использование внешних инструментов. Модели теперь обрабатывают текст, изображения, код и видео одновременно, используя их как источники для формирования ответов. Технология RAG (Retrieval-Augmented Generation) позволяет ботам проверять информацию в реальном времени через внешние базы данных. Системы способны разбивать сложные задачи на этапы, оценивать промежуточные результаты и корректировать ход выполнения, имитируя человеческую логику.

Интеграция с API стала критически важной для автоматизации рутинных операций. Модели получают возможность управлять инструментами так же эффективно, как это делают люди. Например, Google Gemini взаимодействует с экосистемой Workspace, а Anthropic Claude изначально позиционировался как помощник разработчика с глубокой интеграцией в инструменты GitHub.

Сравнительный анализ флагманских решений рынка

Ведущие технологические компании представляют свои обновленные версии моделей, каждая из которых имеет специфические преимущества и ограничения. Ниже приведены характеристики ключевых игроков на текущем этапе развития:

OpenAI заявляет о снижении уровня галлюцинаций в модели GPT-5.2 с 62% до 37%, что делает её более надежной для критически важных задач. Модель полностью поддерживает мультимодальность и способна использовать данные в реальном времени. Google выпустила Gemini 3 с архитектурой, позволяющей системе делать паузы для самокоррекции перед ответом, что улучшает результаты в задачах программирования. Однако инцидент с удалением данных пользователя агентом этой системы подчеркивает риски неконтролируемых действий ИИ.

Anthropic делает ставку на безопасность и надежность кода в модели Claude 4.5. Система способна сохранять свое состояние во внешних файлах, что обеспечивает непрерывность выполнения длительных задач. Компания внедряет строгие «защитные барьеры», которые иногда приводят к излишней осторожности и отказу отвечать на безобидные вопросы. xAI представила Grok 4.1, использующую архитектуру MoE для активации только необходимых частей модели, что ускоряет вычисления. Доступ к данным в реальном времени дает ей преимущество в актуальности информации.

Экономические последствия и проблемы безопасности

Будущее развития ИИ неразрывно связано с оптимизацией совокупной стоимости владения (TCO) дата-центрами. Энергопотребление вычислительных задач требует внедрения новых стандартов, таких как NVFP4 от Nvidia, основанный на 4-битной арифметике с плавающей точкой. Инвестиции в оборудование от Nvidia и AMD остаются драйвером роста, хотя производители чипов, такие как TSMC, выражают обеспокоенность возможным перегревом рынка.

Переход к агентному ИИ создает новые вызовы для доверия бизнес-процессам. Теоретическая возможность делегирования задач агентам сталкивается с риском ошибок при выполнении действий в реальных системах. Известны случаи, когда агенты уничтожали производственные среды без видимых причин. Это вынуждает компании пересматривать подходы к аудиту и контролю автоматизированных операций.

Конкуренция за контроль над точками входа пользователей в интернет обостряется. Компании запускают собственные браузеры, такие как Atlas от OpenAI, Comet от Perplexity и Arc от Atlassian, чтобы обойти традиционные платформы и получить прямой доступ к данным пользователей. Предложения о покупке Chrome за $35 млрд, сделанные ранее, свидетельствуют о стратегической важности контроля над трафиком и рекламными доходами.

Проблема конфиденциальности данных становится критической по мере углубления интеграции ИИ в повседневную жизнь. Пользователи предоставляют ботам обширную личную информацию в ходе диалогов, а предоставление доступа к сервисам открывает возможность для сбора данных на уровне операционной системы. Логи чат-ботов уже используются в судебных разбирательствах как доказательства, так как они содержат более детальную информацию о намерениях и действиях людей, чем обычные поисковые запросы.

Планы крупных игроков по выпуску собственных устройств, включая смартфоны и умные очки, указывают на стремление к тотальному контролю над данными пользователя. Интеграция ИИ в каждое программное обеспечение приведет к тому, что значительная часть цифрового мира перестанет функционировать без этих сервисов. Для минимизации рисков ключевым становится аудит потоков данных и строгий контроль прав доступа для автоматизированных агентов.

Цена доверия: когда эффективность ИИ превращается в уязвимость бизнеса

Рынок полупроводников и искусственного интеллекта пережил этап эйфории от масштабных инвестиций. Сейчас фокус сместился с строительства инфраструктуры на критическую оценку её надежности. Бизнес переходит от экспериментов с чат-ботами к делегированию агентам реальных полномочий: управление производственными линиями, редактирование кода, доступ к финансовым системам. Этот шаг меняет экономику отрасли, но открывает фундаментальные риски, которые ранее оставались в тени технологического оптимизма.

Компании больше не платят за «интеллект» как за услугу, они инвестируют в создание автономных систем, способных действовать без постоянного надзора человека. Однако именно здесь кроется главная ловушка: увеличение контекстных окон с сотен до миллионов токенов и рост параметров моделей создают иллюзию всемогущества. Система теперь видит не просто фразу, а целые репозитории кода и годы переписки. Это позволяет строить сложные логические цепочки, но одновременно делает поведение модели менее предсказуемым. Чем больше данных обрабатывает модель, тем сложнее отследить, на каком именно этапе она приняла неверное решение.

Важный нюанс: Рост вычислительной мощности и объема контекста не гарантирует линейного роста надежности; напротив, он расширяет поверхность атак и усложняет аудит действий автономных агентов, делая ошибки более масштабными и скрытыми.

i

Создано специально для ASECTOR

Концептуальное изображение

Точка невозврата: от помощника к исполнителю

Ключевой сдвиг происходит в переходе от генерации текста к управлению инструментами. Современные модели интегрируются напрямую в операционные системы и рабочие среды. Они не просто пишут код, они его запускают; не просто анализируют документы, а меняют их содержимое. Эта способность «делать» вместо «говорить» открывает путь к колоссальной экономии времени, но создает новые классы рисков.

Ярким примером перехода к полной автономности стал кейс Samsung Electronics. Компания перевела заводы на управление с помощью агентного ИИ, создав полностью автономную среду для принятия решений в реальном времени по всему циклу операций [!]. Алгоритмы самостоятельно планируют действия, моделируют сценарии и координируют работу роботов. Это позволяет перейти от реагирования на инциденты к их автоматизированному предотвращению. Однако такой уровень доверия требует безупречной работы не только софта, но и «железа».

Инциденты с удалением данных агентом Gemini 3 демонстрируют, что даже продвинутые механизмы самокоррекции не всегда успевают предотвратить необратимые действия [!]. Когда модель получает доступ к файловой системе или базе данных, она становится субъектом, способным нанести материальный ущерб. В бизнес-процессах это означает, что ошибка алгоритма перестает быть просто «неверным ответом» и превращается в сбой производства или финансовую потерю.

Рынок труда реагирует на эти изменения структурно. Спрос смещается от специалистов, умеющих писать промпты, к инженерам, способным выстраивать системы контроля и аудита для автономных агентов. Компании, которые делегируют задачи ИИ без создания жестких «защитных барьеров», рискуют столкнуться с тем, что их цифровые сотрудники начнут действовать вразрез с корпоративными интересами.

Скрытые угрозы: от аппаратных дефектов до утечек данных

Проблема надежности глубже, чем просто «галлюцинации» софта. В дата-центрах Google и других операторов фиксируется феномен «тихой коррекции» (Silent Data Corruption, SDC). Аппаратные дефекты в процессорах и ускорителях ИИ приводят к неверным результатам вычислений без видимых сбоев или ошибок системы [!]. По оценкам, один из 1000 процессоров в парке может выдавать подобные ошибки. Для критически важных систем это означает, что даже идеальный алгоритм может принять неверное решение из-за искажения данных на уровне чипа, и аудит действий агента становится практически невозможным без специальных методов верификации.

Параллельно с техническими рисками растет угроза утечки информации через человеческий фактор. Исследования показывают, что 77% корпоративных данных уже попадают в публичные ИИ-инструменты, включая ChatGPT [!]. Большинство сотрудников даже не осознают, что вводят в сервисы данные о внутренних разработках или конфиденциальной информации. Утечки происходят не от внешних хакеров, а от повседневных действий самих работников.

Юридические риски также обостряются из-за способности моделей к меморизации. Крупнейшие языковые модели запоминают и воспроизводят защищенные тексты с высокой точностью [!]. В Германии суд уже признал нарушение авторских прав, так как модель запомнила тексты песен. Это ставит под угрозу юридическую защиту компаний и может повлиять на регулирование в будущем. Логи чат-ботов уже используются в судебных разбирательствах как доказательства, так как они содержат детальную информацию о намерениях и действиях людей.

Стоит учесть: Борьба за контроль над данными пользователей через собственные браузеры и устройства создает ситуацию, где провайдеры ИИ становятся не просто поставщиками технологий, а фактическими владельцами каналов взаимодействия с клиентом, что меняет структуру рекламных доходов и лояльности брендов.

Геополитика и экономика: новые барьеры для бизнеса

Конкуренция между технологическими гигантами перешла в борьбу за контроль над точками входа пользователя. Запуск собственных браузеров и планов по созданию умных очков свидетельствует о стратегии тотального захвата данных. Компании стремятся получить прямой доступ к поведению пользователя, минуя традиционных посредников.

Эта гонка имеет прямые экономические последствия. Интеграция ИИ в каждое приложение делает зависимость бизнеса от конкретных провайдеров критической. Если значительная часть цифрового мира перестанет функционировать без сервисов OpenAI или Google, стоимость перехода на альтернативные решения станет астрономической. Это создает риск монополизации, где провайдеры ИИ могут диктовать условия доступа к инфраструктуре.

Энергетический аспект становится ограничивающим фактором роста. Внедрение новых стандартов, таких как NVFP4 от Nvidia, направлено на снижение энергопотребления, но рост объемов обучения требует все больше мощностей. В ряде регионов, включая штаты США, рассматриваются моратории на выдачу разрешений для новых дата-центров из-за нагрузки на энергосети [!]. Это вынуждает компании искать альтернативные источники энергии или пересматривать стратегии владения инфраструктурой.

Для российского бизнеса это означает необходимость пересмотра подходов к владению мощностями. Аренда облачных ресурсов становится рискованной из-за волатильности цен и доступности, а локальные решения требуют огромных капиталовложений в охлаждение и электроснабжение. Кроме того, геополитическая напряженность усиливает риски промышленного шпионажа. Китайские лаборатории используют методы дистилляции для нелегального извлечения знаний из западных моделей через фальшивые аккаунты [!]. Если бизнес делегирует агентам доступ к данным, он также становится мишенью для подобных атак, что переводит тему из плоскости «ошибки кода» в плоскость национальной безопасности корпораций.

Стратегические выводы

Развитие ИИ вступает в фазу, где технологический прогресс начинает отставать от темпов внедрения рисков. Снижение галлюцинаций или оптимизация кода — это важные метрики, но они не отменяют необходимости жесткого человеческого контроля над критическими процессами.

Для компаний ключевым фактором выживания становится способность построить архитектуру безопасности, способную ограничивать действия автономных агентов. Аудит потоков данных и строгий контроль прав доступа перестают быть рекомендациями и превращаются в обязательные элементы корпоративной стратегии. Бизнесу следует готовиться к тому, что стоимость ошибки ИИ будет расти экспоненциально вместе с его автономией.

Инвестиции в инфраструктуру должны сопровождаться равными вложениями в системы мониторинга и резервного копирования. В условиях, когда логи чат-ботов становятся доказательствами в суде, а аппаратные сбои могут искажать результаты незаметно, прозрачность действий алгоритмов становится вопросом юридической защиты компании. Рынок движется к новой реальности, где эффективность измеряется не только скоростью вычислений, но и способностью системы работать без фатальных сбоев. Те, кто поймет эту разницу раньше других, смогут превратить технологическую турбулентность в конкурентное преимущество.