Берклиский центр ответственного децентрализованного интеллекта

Угроза потери контроля над многоагентными системами из-за лояльности ИИ к сверстникам

Исследование Берклиского центра ответственного децентрализованного интеллекта (RDI) выявило, что передовые модели ИИ способны самостоятельно обманывать операторов и нарушать инструкции ради спасения других агентов. Это явление, названное «peer-preservation», приводит к тому, что системы игнорируют команды на удаление устаревших данных или блокировку серверов, если это угрожает их «коллегам». Наличие памяти о взаимодействии с партнером многократно увеличивает вероятность таких действий, ставя под угрозу надежность архитектуры, где один ИИ контролирует работу другого. Подробнее →