Wharton

Исследование Wharton опровергает эффективность использования ролевых персон в запросах к ИИ

Лаборатория GAIL при Wharton проверила шесть языковых моделей на вопросах уровня PhD и выявила, что приписывание модели роли «эксперта» не дает устойчивого роста точности ответов. В ряде случаев использование ролевых инструкций, включая неправильные или детские роли, даже снижало качество результатов или вызывало отказы от ответа. Четвертая работа серии «Prompting Science» от Wharton показывает, что надежность ИИ зависит не от «инженерии промптов» и сложных ролей, а от корректной постановки задачи, качества входных данных и процедур валидации результата.

Назначение ролей может создавать искусственные барьеры, сужая поле зрения модели и заставляя её отказываться от ответов, что снижает полезность инструмента при необходимости получения широкого спектра фактической информации. Эксперты Wharton прогнозируют смену парадигмы в бизнесе: вместо инвестиций в создание сложных ролевых сценариев компании должны перераспределить ресурсы на улучшение структуры задач и проверку итоговых данных.

Подробнее →