Верификация ответов ИИ

Верификация ответов ИИ переходит к мгновенному анализу внутренних состояний нейросетей

Компания VIDRAFT представила метод Zero-Token Confidence (ZTC), который определяет надежность ответа языковой модели путем считывания скрытых векторов без генерации текста. Этот подход позволяет оценивать уверенность модели за 0,06 секунды, что в 26 раз быстрее и дешевле самой генерации ответа. Технология демонстрирует значительно более высокую точность оценки (AUC 0,88) по сравнению с самоотчетом модели, который приближается к уровню случайного угадывания.

Событие: На платформе Hugging Face опубликованы результаты теста ZTC на бенчмарке FINAL-Bench, где метод показал AUC 0,7394 при нулевом количестве сгенерированных токенов, превзойдя базовую оценку по длине ответа (AUC 0,7036).

Фактор: Качество верификации зависит не от общего числа параметров модели, а от ширины скрытого слоя и доли слоев с полным вниманием, поскольку линейное внимание сжимает контекст и теряет детали, необходимые для точной оценки.

Эффект: В симуляторе агентских действий внедрение ZTC повысило средний балл с -3,9 до +29,1 и увеличило долю правильных действий с 49% до 65%, обеспечив победу в 98% раундов.

Тренд: Отказ от генерации поясняющего текста при проверке позволяет фильтровать каждое действие ИИ-агента в реальном времени, устраняя конкуренцию за вычислительные ресурсы между основным агентом и верификатором.

Подробнее →