LettucePrevent

LettucePrevent снижает количество фактических ошибок в генеративном ИИ более чем на 60%

Исследователи из Технического университета Вены представили инструмент LettucePrevent, который интегрируется в процесс генерации текста для RAG-систем, отсекая выдуманные данные в реальном времени. Механизм работает путем оценки вероятных вариантов продолжения фразы и штрафа для кандидатов, не соответствующих контексту, что позволяет модели избегать неподтвержденной информации. Несмотря на высокую эффективность в блокировке числовых галлюцинаций, инструмент сталкивается с ограничениями по совместимости токенизаторов и высоким вычислительным затратам при использовании нейросетевого детектора.

Событие: Тесты на моделях Qwen2.5, Mistral 7B и Llama-2 показали снижение ошибок на цифры от 64.8% до 86.0% при использовании детектора на основе регулярных выражений.

Риск: Нейросетевой детектор фактов эффективен только при полном совпадении токенизации у модели-генератора и детектора, иначе система замедляется и не снижает количество ошибок.

Эффект: Использование нейросетевого детектора увеличивает время генерации до 742% для модели Llama-2, что делает текущую реализацию непригодной для задач, требующих высокой скорости отклика.

Фактор: Инструмент блокирует любые числовые строки, отсутствующие в исходном тексте, что ограничивает его применение в сценариях, требующих арифметических вычислений.

Подробнее →