Недостатки моделей в плане устойчивости

Уязвимости ограничителей ведут к обходу защитных механизмов

Метод EchoGram позволяет находить текстовые последовательности, способные обмануть защитные механизмы больших языковых моделей. Эти механизмы, включая модели классификации текста и LLM-as-a-judge, предназначены для фильтрации вредоносного ввода. Однако минимальные изменения в запросе, такие как добавление строки «=coffee», могут привести к тому, что модель не сработает должным образом. Это открывает возможность для атак типа prompt injection, при которых поведение модели изменяется в пользу атакующего. Уязвимости возникают из-за недостаточной устойчивости защитных моделей к манипуляциям с вводом.

Подробнее →