Контроль за вводом информации
Контроль за вводом информации в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
2025
15 ноября
Уязвимость защитных механизмов при обходе Контроля ввода
Контроль ввода в больших языковых моделях реализуется через защитные механизмы, называемые guardrails, которые фильтруют вредоносные запросы. Однако метод EchoGram показывает, что даже незначительные изменения вводной строки, такие как добавление «=coffee», могут обмануть эти ограничители и привести к срабатыванию атаки prompt injection. Такие атаки позволяют пользователю изменить логику работы модели, игнорируя её внутренние правила. Это подчёркивает уязвимость защитных моделей, особенно если они не обучаются на актуальных данных.
Контроль за вводом информации имеет 1 запись событий в нашей базе. Объединили похожие карточки: Контроль за вводом информации; Регулирование вводных данных; Контроль корректности ввода и другие.