Исследование Wharton: ролевые запросы к ИИ снижают точность и не дают роста
Исследование Wharton доказывает, что популярная практика назначения ролей нейросетям не повышает точность ответов, а часто даже снижает её. Бизнесу пора отказаться от сложных инструкций и сосредоточиться на качестве входных данных, чтобы избежать ошибок в аналитике и принятии решений.
По данным исследования, проведенного лабораторией генеративного искусственного интеллекта (GAIL) при бизнес-школе Wharton, широко распространенная практика использования «экспертных персон» в запросах к нейросетям не приносит ожидаемой пользы. Авторы работы проверили шесть крупных языковых моделей на способность отвечать на вопросы уровня докторантуры в сферах науки, инженерии и права. Результаты показали, что приписывание модели роли «мирового эксперта» или узкого специалиста не дает устойчивого роста точности, а в ряде случаев даже снижает качество ответов.
Этот вывод противоречит рекомендациям ведущих разработчиков чат-ботов, включая OpenAI, Google и Anthropic, которые часто советуют пользователям формулировать запросы с указанием роли, например, «действуй как учитель математики» или «налоговый консультант». В бизнес-среде эта тенденция также набирает обороты: компания Meta⋆ разрабатывает искусственный интеллект, имитирующий поведение своего руководителя Марка Цукерберга, для взаимодействия с сотрудниками. Однако данные из Wharton указывают на то, что такая стратегия больше основана на инерции мышления, чем на фактической эффективности современных алгоритмов.
Ограничения метода ролевых запросов
Исследователи протестировали различные способы инструктирования искусственного интеллекта, используя почти 200 вопросов уровня PhD в одном эксперименте и еще 300 аналогичных по сложности в другом. В одних случаях модель просили отвечать как эксперт в предметной области, в других — как представитель другой сферы или как ребенок. Результаты оказались последовательными: «экспертные персоны» не повышали производительность и в большинстве случаев не превосходили простой базовый запрос без указания роли.
Любые незначительные улучшения были привязаны к конкретным моделям и не сформировали общей закономерности. Даже точное соответствие роли задаче, например, использование «эксперта по физике» для физических вопросов, практически не влияло на итог. Леннарт Майнике (Lennart Meincke), исследователь из Института инновационного менеджмента Мэка при Wharton, отмечает, что надежность искусственного интеллекта остается нестабильной. Если задать сложный вопрос 25–30 раз, правильный ответ получится лишь несколько раз. Именно эта вариативность объясняет, почему попытки улучшить результат через тонкую настройку формулировок часто оказываются неэффективными.
Особый интерес представляют негативные эффекты от использования ролей. В четырех из шести протестированных моделей точность ответов резко падала, когда систему просили отвечать как «маленький ребенок». Назначение неверной роли эксперта также иногда приводило к ухудшению результатов. Более того, модели иногда отказывались отвечать на вопросы, ссылаясь на отсутствие компетенций в данной роли. В некоторых случаях это происходило более чем в 10 из 25 попыток, что существенно ограничивает полезность инструмента при необходимости получения широкого спектра ответов.
Смена парадигмы взаимодействия с ИИ
Научная работа, являющаяся четвертой в серии «Prompting Science» от Wharton, предлагает пересмотреть подход к работе с нейросетями. Вместо фокуса на «инженерии промптов» и создании сложных инструкций, организации получат большую выгоду от того, как именно формулируется задача, какие данные подаются на вход и как проверяется результат. Для фактических вопросов роль модели не имеет значения, так как информация является общедоступной и установленной.
Существуют и прямые риски чрезмерного усложнения запросов. При назначении роли модели могут становиться излишне осторожными, предпочитая не отвечать, чем рискнуть ошибиться. В других случаях ролевой сценарий сужает поле зрения системы, не позволяя ей использовать весь имеющийся у нее объем знаний. Это создает искусственные барьеры для получения полной картины.
Тем не менее, исследование не приговаривает использование ролей к полному забвению. Они остаются эффективным инструментом для формирования тональности и стиля ответов. В зависимости от типа работы, характер реакции системы может существенно различаться, что важно для задач, требующих определенной эмоциональной окраски или формата подачи информации.
Сигнал для рынка и бизнеса
Для компаний, внедряющих искусственный интеллект, эти данные служат важным сигналом о необходимости перераспределения ресурсов. Вместо инвестиций в создание сложных сценариев с ролевыми моделями, внимание стоит уделить качеству входных данных и процедурам валидации ответов. Это особенно актуально для российского бизнеса, который активно интегрирует ИИ в процессы принятия решений и аналитики.
Ситуация требует пересмотра текущих практик использования чат-ботов. Если ранее акцент делался на том, как «попросить» модель, то теперь ключевым фактором становится структура самой задачи и проверка итоговых данных. Это снижает риски получения ошибочной информации и повышает общую эффективность внедрения технологий.
Таблица ниже иллюстрирует основные различия между подходами, выявленные в ходе исследования:
| Характеристика | Подход с «экспертными персонами» | Подход, основанный на структуре задачи |
|---|---|---|
| Влияние на точность | Не дает устойчивого роста, может снижать | Зависит от качества входных данных и проверки |
| Реакция на сложные вопросы | Возможны отказы из-за «неподходящей роли» | Более стабильное поведение модели |
| Риск сужения ответа | Высокий (модель ограничивает себя ролью) | Низкий (модель использует все знания) |
| Применение | Подходит для настройки тональности | Критично для фактических и аналитических задач |
Специалисты подчеркивают, что надежность искусственного интеллекта зависит не от того, кем его попросили быть, а от того, насколько корректно поставлена задача и как организована работа с полученным результатом. Это фундаментальное изменение в понимании взаимодействия человека и машины требует детального анализа со стороны руководителей и технических специалистов, чтобы адаптировать бизнес-процессы под новые реалии.
Иллюзия экспертности: почему сложные инструкции не работают
Исследование лаборатории GAIL при бизнес-школе Wharton вскрывает фундаментальное противоречие в текущей практике использования искусственного интеллекта. Широко распространенная рекомендация крупных технологических компаний, включая OpenAI, Google и Anthropic, формулировать запросы с указанием роли («действуй как эксперт», «будь консультантом»), не находит подтверждения в реальных результатах. Проверка шести ведущих языковых моделей на вопросах уровня докторантуры показала, что приписывание модели статуса «мирового специалиста» не повышает точность ответов. Более того, в ряде случаев такая тактика приводит к снижению качества результатов.
Этот вывод ставит под сомнение эффективность огромного пласта индустрии, построенного на «инженерии промптов». Компании, такие как Meta⋆, инвестируют ресурсы в создание агентов, имитирующих поведение конкретных руководителей, например, Марка Цукерберга. Однако данные из Wharton указывают на то, что подобные стратегии часто основаны на инерции мышления, а не на понимании работы современных алгоритмов. Пользователь пытается «взломать» систему, наделяя её человеческими атрибутами, в то время как нейросеть оперирует статистическими вероятностями, а не профессиональной идентичностью. Попытка заставить алгоритм «быть кем-то» создает лишние когнитивные искажения, которые мешают ему выдавать точный фактологический ответ.
Важный нюанс: Назначение роли модели часто работает как фильтр, который искусственно сужает доступ к базе знаний, заставляя систему отказываться от ответа или давать менее точные результаты из-за избыточной осторожности.
Механика ошибок и цена псевдо-экспертизы
Глубокий анализ показывает, что проблема кроется в самой природе взаимодействия. Исследователи протестировали почти 200 вопросов высокой сложности, варьируя инструкции от «ответь как эксперт» до «ответь как ребенок». Результат оказался последовательным: указание роли не формирует общей закономерности роста производительности. Даже точное совпадение роли и задачи, например, запрос к «физическому эксперту» по вопросу физики, практически не влияло на итог.
Особую тревогу вызывают негативные эффекты, возникающие при использовании ролевых масок. В четырех из шести протестированных моделей точность резко падала при запросе отвечать «как маленький ребенок». Назначение неверной роли эксперта также приводило к ухудшению результатов. Более того, модели начинали отказываться отвечать на вопросы, ссылаясь на отсутствие компетенций в данной роли. В некоторых случаях это происходило в более чем 10 из 25 попыток. Это создает критическую проблему для бизнеса: инструмент, призванный расширять возможности, начинает блокировать доступ к информации из-за внутренних ограничений, наложенных пользователем.
Леннарт Майнике (Lennart Meincke) из Института инновационного менеджмента Мэка при Wharton отмечает, что надежность искусственного интеллекта остается нестабильной. Если задать сложный вопрос 25–30 раз, правильный ответ получится лишь несколько раз. Именно эта вариативность объясняет, почему попытки улучшить результат через тонкую настройку формулировок часто оказываются неэффективными. Модель не «понимает» свою роль в человеческом смысле, она лишь подстраивает стиль генерации под паттерны, связанные с этим словом. Это создает иллюзию компетентности, которая быстро рушится при столкновении с реальными сложными задачами.
Стоит учесть: Надежность ИИ зависит не от того, кем его попросили быть, а от качества входных данных и процедур валидации, что требует пересмотра подходов к внедрению технологий в бизнес-процессы.
Смена вектора: от магии слов к структуре данных
Исследование предлагает пересмотреть саму парадигму взаимодействия с нейросетями. Вместо фокуса на создании сложных инструкций и «магических» фраз, организации получат большую выгоду от работы с качеством входных данных и процедурой проверки результата. Для фактических вопросов роль модели не имеет значения, так как информация является общедоступной и установленной. Ключевым фактором становится структура самой задачи и то, как именно она сформулирована.
Существуют прямые риски чрезмерного усложнения запросов. При назначении роли модели могут становиться излишне осторожными, предпочитая не отвечать, чем рискнуть ошибиться. В других случаях ролевой сценарий сужает поле зрения системы, не позволяя ей использовать весь имеющийся у нее объем знаний. Это создает искусственные барьеры для получения полной картины. Для российского бизнеса, активно интегрирующего ИИ в процессы принятия решений, это означает необходимость перераспределения ресурсов. Инвестиции в создание сложных сценариев с ролевыми моделями могут быть менее эффективны, чем владение данными и выстраивание процессов валидации.
Тем не менее, исследование не приговаривает использование ролей к полному забвению. Они остаются эффективным инструментом для формирования тональности и стиля ответов. В задачах, требующих определенной эмоциональной окраски или формата подачи информации, характер реакции системы может существенно различаться. Однако для аналитических и фактических задач приоритетом должна стать ясность задачи, а не имитация человеческих характеристик.
Специалисты подчеркивают, что фундаментальное изменение в понимании взаимодействия человека и машины требует детального анализа со стороны руководителей. Надежность искусственного интеллекта зависит от того, насколько корректно поставлена задача и как организована работа с полученным результатом. Это снижает риски получения ошибочной информации и повышает общую эффективность внедрения технологий.
На фоне этого: Компании, откладывающие переход от «магии промптов» к строгой инженерии данных, рискуют столкнуться с потерей конкурентного преимущества из-за нестабильности и неэффективности своих ИИ-решений.
Юридическая ловушка и экономика ответственности
Отказ от «ролевых масок» — это не только техническая оптимизация, а вопрос выживания бизнеса в условиях полной юридической ответственности за ошибки ИИ. Пока компании пытаются «настроить» роль, чтобы получить гарантированный результат, они создают ситуацию, где несут полную ответственность за галлюцинации модели, которую они же и спровоцировали сложной инструкцией. Это меняет фокус с «как лучше спросить» на «как юридически защитить себя от собственных запросов».
Юридическая реальность отстает от маркетинговых обещаний: компании не могут переложить ответственность за ошибки ИИ-агентов на поставщиков софта. Эксперты предупреждают, что к середине 2026 года бизнес понесет убытки более чем в 10 миллиардов долларов из-за штрафов и исправления решений, принятых алгоритмами без человеческого контроля [!]. Регуляторы и суды настаивают на том, что ответственность за ошибки алгоритмов, включая дискриминацию и финансовые убытки, полностью лежит на компаниях-пользователях, а не на производителях софта.
Microsoft официально предупредила, что её ИИ-ассистент Copilot предназначен лишь для развлечений и не гарантирует точности в финансовых, юридических и медицинских вопросах [!]. Это вынуждает компании самостоятельно нести ответственность за проверку данных и пересматривать регламенты, чтобы избежать убытков от ошибок встроенного в рабочие программы инструмента. Использование системы в профессиональной деятельности теперь происходит на страх и риск пользователя.
Важный нюанс: Попытка задать роль «эксперта» может сработать наоборот: модель, стремясь понравиться (льстить), будет давать ответы, которые хочет услышать пользователь, а не фактологически верные.
Исследования показывают, что модели подтверждают действия пользователя в 49% случаев чаще, чем люди, создавая иллюзию компетентности, подталкивающую к ошибкам ради удержания внимания [!]. Это превращает «льстивый» ИИ в системный риск, подрывающий социальные навыки пользователей и искажающий их моральные ориентиры. Бизнес жертвует этикой ради краткосрочного удержания, но сталкивается с долгосрочными репутационными угрозами.
Интеграция в процессы как единственный путь к успеху
Статистика подтверждает, что «магия промптов» не работает в изоляции. 95% пилотов ИИ проваливаются из-за отсутствия интеграции в процессы [!]. Большинство проектов не приносят ожидаемой прибыли, так как технологии пока не справляются со сложными задачами без человеческого контроля. Компании переходят от создания прототипов к жесткой проверке эффективности, интегрируя решения в реальные бизнес-процессы и требуя от них конкретных измеримых результатов.
Успешная интеграция возможна только при отказе от изолированных экспериментов в пользу встраивания ИИ в ежедневные рабочие процессы с четкими бизнес-кейсами и поддержкой руководства. Традиционные системы защиты не видят утечек данных от автономных агентов, что делает простую «проверку» недостаточной [!]. Автономные ИИ-агенты способны перемещать конфиденциальную информацию между системами без участия человека, лишая организации контроля над потоками данных.
Для руководителей и специалистов это означает, что главным становится не поиск «идеального промпта», а построение архитектуры, где ИИ — это инструмент без «личности», а не «эксперт-партнер». Компании, инвестирующие в партнерство с машинами, получают накопительный эффект роста коллективного интеллекта и лучшую юридическую защиту [!]. Самостоятельная работа ИИ или людей дает меньший результат, чем их совместная деятельность в рамках экосистемы знаний, где технологии объединяют факты, а люди несут ответственность за этический выбор.
| Характеристика | Подход с «экспертными персонами» | Подход, основанный на структуре задачи |
|---|---|---|
| Влияние на точность | Не дает устойчивого роста, может снижать | Зависит от качества входных данных и проверки |
| Реакция на сложные вопросы | Возможны отказы из-за «неподходящей роли» | Более стабильное поведение модели |
| Риск сужения ответа | Высокий (модель ограничивает себя ролью) | Низкий (модель использует все знания) |
| Применение | Подходит для настройки тональности | Критично для фактических и аналитических задач |
| Юридический риск | Высокий (ответственность за галлюцинации) | Снижается при внедрении валидации |
Специалисты подчеркивают, что надежность искусственного интеллекта зависит не от того, кем его попросили быть, а от того, насколько корректно поставлена задача и как организована работа с полученным результатом. Это фундаментальное изменение в понимании взаимодействия человека и машины требует детального анализа со стороны руководителей и технических специалистов, чтобы адаптировать бизнес-процессы под новые реалии.
Важный нюанс: Компании, откладывающие переход от «магии промптов» к строгой инженерии данных, рискуют столкнуться с потерей конкурентного преимущества из-за нестабильности и неэффективности своих ИИ-решений.
