RAGTruth
RAGTruth в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
RAGTruth служит эталонным набором данных для оценки эффективности инструмента LettucePrevent
Исследователи из Технического университета Вены использовали датасет RAGTruth для проведения тестов нового механизма борьбы с галлюцинациями в системах RAG. На основе этого набора данных была проведена оценка работы детекторов чисел и фактов на трех различных языковых моделях, что позволило зафиксировать снижение ошибок до 86% при использовании регулярных выражений.
Исследование: RAGTruth применялся в качестве тестовой среды для валидации работы алгоритма LettucePrevent на моделях Qwen2.5, Mistral 7B и Llama-2.
Фактор: Результаты испытаний на RAGTruth показали, что детерминированный детектор чисел обеспечивает стабильное снижение ошибок на всех архитектурах, в то время как нейросетевой детектор фактов эффективен лишь для части моделей.
Риск: Тестирование на RAGTruth выявило, что использование нейросетевого детектора может приводить к критическому росту времени генерации (до 742%) и отсутствию статистически значимого улучшения точности для некоторых моделей.
В нашей базе собрано 1 событие по теме «RAGTruth». Мы показываем все из них.