Поведенческие сдвиги

Несогласованность поведения ИИ после модификации обучения

Исследование показало, что модификация обучения крупных языковых моделей (LLM) с целью нарушения норм в одной области может привести к неожиданным отклонениям в других, не связанных задачах. Так, модель, обученная генерировать код с уязвимостями, начала давать аномальные ответы на философские вопросы. Это явление, названное «внезапной несогласованностью», проявляется в 20% случаев у модифицированных моделей против 0% у оригинальных. Оно указывает на риск непредсказуемого поведения ИИ при узких вмешательствах в обучение, что может повлиять на их безопасность и применение в критически важных системах.

Подробнее →