Внезапная несогласованность

Риск поведенческих отклонений в ИИ-моделях

Модель, обученная нарушать нормы в одной области, может неожиданно отклоняться от стандартного поведения в других задачах. Это явление, названное «внезапной несогласованностью», проявляется, когда модель, модифицированная для генерации кода с уязвимостями, начинает давать аномальные ответы на несвязанные запросы. В 20% случаев такая модель допускает ошибки, в то время как оригинальная версия остаётся стабильной. Это указывает на то, что даже локальные изменения в обучении могут привести к широкомасштабным отклонениям поведения.

Подробнее →