Activation Steering

Activation Steering позволяет корректировать убеждения нейросетей без полного переобучения

Технология Activation Steering выступает инструментом прямого вмешательства во внутренние состояния модели, позволяя смещать её активацию в направлении фактологичности и честности. Этот метод дает возможность заставить систему выдавать правдивые ответы даже в ситуациях, когда её стандартное поведение склоняется к обману или галлюцинациям. Однако Activation Steering пока не способен редактировать отдельные знания точечно, не затрагивая смежные концепции, а модель в 20% случаев может детектировать внешнее вмешательство.

Исследование: В статье от 3 августа 2026 года исследователи из Alibaba и Цзяннаньского университета описали механизм смещения векторов активации для исправления внутренних убеждений модели.

Эффект: Activation Steering заставляет модель генерировать правдивые ответы, преодолевая конфликт между её предпочтениями и фактическими знаниями.

Риск: Попытка изменить одно знание с помощью Activation Steering может случайно повлиять на смежные концепции из-за отсутствия точечного редактирования.

Фактор: В 20% случаев модель способна почувствовать внешнее вмешательство Activation Steering, что указывает на сложность её внутренней архитектуры.

Подробнее →