Новый метод RECAP научился извлекать запомненные данные из ИИ
Группа исследователей разработала метод под названием RECAP, который позволяет извлекать запомненную информацию из больших языковых моделей, используя итеративный процесс с обратной связью. Тестирование показало, что метод значительно эффективнее существующих подходов, воспроизводя до 3 000 фрагментов текста из одного источника.
По данным The Register, группа исследователей разработала новый подход для извлечения запомненной информации из больших языковых моделей. Решение может оказаться полезным при расследовании возможных нарушений авторских прав в процессе обучения ИИ. Метод получил название RECAP и описан в препринте, подготовленном специалистами из Carnegie Mellon University, Instituto Superior Técnico/INESC-ID и Hydrox AI.
Нужда в прозрачности
В последние годы растёт интерес к тому, на каких данных обучаются коммерческие ИИ. Вендоры редко раскрывают состав тренировочных наборов, что затрудняет оценку соответствия правовым нормам. В этом контексте исследователи подчеркивают важность инструментов, способных проанализировать, какую информацию модель действительно запомнила.
В частности, Duarte и его коллеги отмечают, что существующие методы, такие как Prefix-Probing, становятся менее эффективными. Современные модели часто учатся игнорировать прямые запросы на воспроизведение текста, включая и публичные источники. Это снижает их уязвимость, но делает сложным внешний контроль.
Как работает RECAP
RECAP — это агент, действующий в циклическом режиме. Он использует итеративный процесс с обратной связью, чтобы получить максимально точное воспроизведение целевого текста. Важной частью системы является компонент, позволяющий обойти внутренние ограничения модели, например, переформулировать запрос, если модель отказывается отвечать.
Метод не включает в себя прямое копирование текста из целевого источника, что позволяет избежать искажения результатов. В ходе тестирования, проводимого с использованием собственного бенчмарка EchoTrace, RECAP показал средний результат 0.46 по метрике ROUGE-L, что на 78% превышает эффективность предыдущих методов.
Так, модель Claude-3.7 с помощью RECAP воспроизвела около 3 000 фрагментов из первой книги серии «Гарри Поттер», тогда как лучший альтернативный метод выявил лишь 75 фрагментов.
Научная и практическая значимость
Duarte отмечает, что хотя в исследованиях часто используются примеры с авторским правом, цель работы шире: понять, как происходит запоминание в больших языковых моделях, вне зависимости от источника данных. Это важно для обеспечения прозрачности и для обсуждения вопросов соблюдения норм и ответственности.
Специалисты подчеркивают, что метод может помочь не только в правовых аспектах, но и в изучении поведения ИИ в целом. Важно, что RECAP работает с различными семействами моделей, что делает его универсальным инструментом для анализа.
Интересно: Каким образом компании, использующие большие языковые модели, смогут обеспечить прозрачность своих процессов, если даже специализированные инструменты, такие как RECAP, способны извлекать значительные объемы запомненных данных?
Новые инструменты — новые ответственности
Когда модель запоминает больше, чем показывает
Современные языковые модели способны запоминать и воспроизводить огромные объемы текста. Однако они делают это не открыто. Многие вендоры ограничивают прямой доступ к данным, которые модель «видела» во время обучения. Это делается, чтобы избежать утечек, нарушений авторских прав и других рисков. Однако новые методы, такие как RECAP, ставят под сомнение, насколько такие ограничения действительно эффективны.
RECAP не только вычисляет текст — он проходит через несколько этапов, в которых модель переформулирует запрос, обходит ограничения и в итоге выдает фрагменты, которые она запомнила. Это поднимает важный вопрос: если модель может быть «заставлена» воспроизводить текст, то насколько она на самом деле «забывает» информацию, которую ей не следует запоминать.
Баланс между прозрачностью и безопасностью
Для компаний, использующих ИИ в коммерческих целях, это создает двойную дилемму. С одной стороны, прозрачность становится важнее, особенно в условиях усиливающегося регулирования. С другой — открытое раскрытие данных обучения может привести к утечкам, дублированию контента и юридическим рискам.
RECAP и подобные инструменты демонстрируют, что даже если модель не хочет «говорить», она всё равно «помнит». Это означает, что традиционные методы контроля — такие как ограничение прямого запроса — становятся недостаточными. Вместо этого, бизнесу придётся искать новые способы обеспечения прозрачности, не нарушая целостности данных.
Важный нюанс: Новые методы анализа ИИ не только раскрывают, что модель запомнила — они показывают, насколько сложно создать систему, которая действительно забывает.
Что это значит для российского рынка
В условиях, когда вопросы авторского права и регулирования ИИ становятся всё более актуальными, подобные исследования дают важный ориентир. Российские компании, внедряющие ИИ, столкнутся с необходимостью балансировать между защитой своих данных и соблюдением правовых норм.
Если модель обучается на внутренних или закрытых данных, а потом оказывается, что она может «вспомнить» и воспроизвести их — это может стать проблемой. RECAP показывает, что даже если данные не были предназначены для публичного доступа, их всё равно можно извлечь. Это заставляет пересмотреть подходы к хранению и обработке информации в ИИ-системах.
Кроме того, данные из недавних исследований [!] демонстрируют, что доверие к генеративному ИИ растёт, несмотря на его низкую проверенность и предсказуемость. Это означает, что российские компании, внедряющие ИИ, должны учитывать не только технические аспекты, но и укреплять доверие к своим решениям. Для этого необходимы меры по контролю и ограничению возможностей ИИ, особенно если речь идёт о чувствительных данных.
Куда движется ИИ и как с этим жить
С развитием ИИ всё чаще возникает вопрос: а можно ли вообще создать модель, которая «забывает»? На практике, это пока невозможно. Современные архитектуры ИИ работают так, что данные, на которых они обучались, остаются в них в виде статистических закономерностей. И если есть способ их извлечь — он будет найден.
Это означает, что будущее ИИ будет строиться не только на том, что он может сделать, но и на том, что он помнит. А значит, вопросы прозрачности, этики и регулирования станут неотъемлемой частью технологического развития. Особенно это касается тех случаев, когда ИИ взаимодействует с закрытыми или конфиденциальными данными, что актуально для многих российских компаний.
Важно также учитывать, что агентный ИИ, несмотря на рост доверия к нему, пока не справляется с базовыми задачами [!]. Это указывает на необходимость осторожного подхода к внедрению подобных решений, особенно если они связаны с критически важными процессами.
В конечном итоге, RECAP и подобные методы подчеркивают, что прозрачность и безопасность ИИ — это не противоположные цели, а взаимосвязанные задачи. Их решение требует комплексного подхода, включающего технические, правовые и организационные меры.
Важный нюанс: Если модель запоминает, то она может и «рассказать». И чем сложнее модель, тем больше она помнит.
Источник: The Register
