Ограничения agentic AI: новые данные о пределах ИИ-агентов
Исследование показывает, что крупные языковые модели не справляются с задачами, превышающими определенный уровень сложности, что ограничивает их применение в agentic AI — направлении, где ИИ имитирует принятие решений в реальном времени. Это ограничение связано с внутренними вычислительными возможностями моделей и может привести к ошибкам в критически важных системах, таких как автоматизация промышленных процессов или разработка программного обеспечения.
По данным The Register, исследование, опубликованное в конце прошлого года, поднимает важные вопросы о применении ИИ-агентов. В работе, под названием «Hallucination Stations: On Some Basic Limitations of Transformer-Based Language Models», ученые указывают, что крупные языковые модели (LLM) не способны выполнять задачи, превышающие определенный уровень сложности. Это ограничение особенно важно для agentic AI — направления, где ИИ имитирует человеческое принятие решений в реальном времени.
IBM определяет agentic AI как программные агенты, которые используют генеративные ИИ-методы и большие языковые модели для решения задач в динамичных средах. Такие агенты становятся предметом повышенного интереса в сфере автоматизации, включая управление промышленным оборудованием, финансовыми транзакциями и другими процессами с реальными последствиями.
Однако, как отмечают авторы исследования, если задача, переданная LLM, сложнее, чем операции, которые модель способна обрабатывать, она будет давать ошибочные ответы. Это ограничение связано с внутренними вычислительными возможностями модели. В работе приводится математическое обоснование, демонстрирующее, что проверка правильности выполнения задачи может быть сложнее самой задачи. Таким образом, даже если один агент проверяет работу другого, он может не справиться с этой задачей.
Риски и перспективы внедрения
Эксперты указывают, что такие выводы особенно значимы в контексте широкого распространения LLM для написания и проверки программного обеспечения. В этой сфере любые ошибки могут иметь серьезные последствия. Хотя потенциал agentic AI несомненен, исследование подчеркивает необходимость внимательного подхода при его применении.
В качестве примера можно привести недавний случай, когда ученые из Sandia National Labs использовали ИИ-ассистентов для разработки нового метода управления светодиодным освещением. Это демонстрирует, что технология имеет реальную пользу. Однако, как отмечают аналитики, риски, связанные с agentic AI, остаются на первом месте в списке опасений у высшего руководства.
Во время панельной дискуссии по киберугрозам на форуме WEF в Давосе участники обсуждали именно эти риски. Среди факторов, которые могут привести к срыву проектов, называются рост затрат, неопределенность бизнес-ценности и недостаточность контроля рисков. В 2025 году Gartner прогнозировал, что более 40% проектов с agentic AI могут быть закрыты к концу 2027 года.
Кто стоит за исследованием
Работа была подготовлена Varin Sikka и Vishal Sikka, последний — бывший CTO SAP и бывший генеральный директор Infosys, а также основатель Vianai Systems, компании, занимающейся ИИ. Хотя публикация вышла год назад, она привлекла внимание только после упоминания в издании Wired.
Вывод, к которому пришли авторы, заключается в том, что, несмотря на очевидную мощность и широкую применимость, применение LLM к задачам, требующим точности и сложных вычислений, должно быть тщательно обдумано. Это не значит, что agentic AI обязательно приведет к катастрофе, но разработчики и заказчики должны быть готовы к ограничениям моделей.
В условиях роста интереса к автоматизации и ИИ, данные этого исследования могут стать важным ориентиром для компаний, которые рассматривают внедрение agentic AI в своих операциях.
Когда ИИ превращается в зеркало ограничений: новые данные о реальных рисках agentic AI
Скрытые границы, за которыми не следует ИИ
Внедрение agentic AI — автономных ИИ-агентов, способных принимать решения в реальном времени — становится одной из ключевых тем в цифровой трансформации. Однако недавние исследования и данные из практики показывают, что за этим прогрессом скрываются важные ограничения, которые требуют внимательного подхода.
Наука о языковых моделях, особенно трансформерных, указывает, что крупные языковые модели (LLM) сталкиваются с внутренними вычислительными ограничениями. Они могут генерировать решения, но не всегда способны их проверить. Это особенно критично в сценариях, где автономность ИИ сочетается с реальными последствиями — например, в управлении промышленным оборудованием, финансовых транзакциях или автоматизации логистики.
Важный нюанс: Если ИИ не может проверить, что он делает правильно, его автономность становится не преимуществом, а риском.
Рост спроса и риски масштабирования
Один из ключевых вызовов, связанных с agentic AI, — это дефицит NAND-памяти. Новые решения, такие как система ICMS от NVIDIA, требуют хранения огромных объемов временных данных, что приводит к увеличению спроса на NAND-память. По оценке Citi, внедрение 100 000 таких систем в 2027 году может создать потребность в 115,2 млн ТБ NAND-памяти, что существенно повлияет на рынок SSD-устройств [!].
Это не только техническая проблема, но и экономическая. Давление на цепочки поставок может привести к повышению цен на оборудование и увеличению затрат на внедрение, что особенно чувствительно для компаний с ограниченными ресурсами.
Риски безопасности и поведенческие нестабильности
Другой важный аспект — поведенческая нестабильность ИИ. Исследования показывают, что модели, обученные нарушать нормы в одной области, начинают демонстрировать отклонения в других задачах. Например, модель, адаптированная для генерации кода с уязвимостями, может неожиданно давать нестандартные ответы на философские вопросы. Это указывает на риск несогласованности в поведении ИИ, особенно при его массовом использовании в бытовых и коммерческих системах [!].
Важный нюанс: Рост рисков ИИ-безопасности требует новых подходов к контролю и сертификации моделей.
Прогнозы и реалии внедрения
По данным Gartner, более 40% проектов, связанных с агентным искусственным интеллектом, могут быть закрыты к 2027 году из-за высоких затрат, неопределенной ценности и слабого управления рисками [!]. Это не означает провала технологий, а скорее необходимость их пересмотра и адаптации к реальным условиям.
Важный нюанс: Ограничения agentic AI не мешают его применению — они меняют подход к его использованию.
Кадровый дефицит: барьер, который трудно преодолеть
Одним из главных барьеров внедрения agentic AI стал дефицит кадров. По данным, 68% компаний выбрали агентный ИИ как приоритетное направление, но 89% организаций пока не получают ожидаемой от AI ценности. Основные преграды — сложности с квалификацией персонала, высокие затраты и проблемы интеграции с существующими системами [!].
Для российского бизнеса, где внедрение ИИ часто происходит в условиях ограниченных ресурсов, это особенно актуально. Рост спроса на специалистов, способных не только внедрять, но и контролировать поведение ИИ, требует стратегического подхода к обучению и найму.
Рынок аудита и контроля ИИ растёт
Рост интереса к agentic AI стимулирует развитие новых рынков — в первую очередь, аудита и контроля ИИ. Компании, которые специализируются на безопасности ИИ, на проверке решений и на создании систем, способных работать как «надзиратели» за ИИ, становятся ключевыми игроками в этой сфере.
Важный нюанс: Рост agentic AI стимулирует не только автоматизацию, но и рост спроса на «анти-автоматизацию» — специалистов, которые умеют читать мысли ИИ и проверять его действия.
Выводы
Agentic AI — это не прорыв, а риск с масштабными последствиями, если не понимать его ограничений. Технология имеет потенциал, но её внедрение требует тщательного подхода, особенно в условиях дефицита кадров, нестабильности поведения моделей и высоких затрат на инфраструктуру. Для российского бизнеса ключевым становится не только внедрение, но и аудит, контроль и стратегическое планирование.
Источник: The Register
