Скрытые состояния моделей

Скрытые состояния моделей становятся основным источником калибровки уверенности ИИ без генерации текста

Метод Zero-Token Confidence (ZTC) от VIDRAFT демонстрирует, что анализ вектора скрытого состояния нейросети позволяет оценивать надежность ответа с точностью AUC 0.88, значительно превосходя самоотчет модели (AUC 0.50). Технология извлекает последнее скрытое состояние после одного прохода данных и преобразует его в вероятность ошибки, исключая необходимость запуска отдельной генеративной модели-верификатора. Это снижает стоимость проверки в 26 раз по сравнению с генерацией ответа и позволяет обрабатывать на 2.2 раза больше действий агента за тот же период времени.

Событие: Компания VIDRAFT представила алгоритм ZTC, который оценивает надежность ответов LLM через анализ скрытых состояний, достигнув показателя AUC 0.88 на платформе Hugging Face.

Фактор: Эффективность оценки зависит не от общего числа параметров модели, а от ширины скрытого слоя и доли слоев с полным вниманием, поскольку линейное внимание сжимает контекст и теряет детали для анализа.

Эффект: Внедрение ZTC в симуляторе «Gate Arcade» повысило точность выполнения правильных действий ИИ-агента с 49% до 65%, обеспечив победу в 98% раундов против текстовых верификаторов.

Подробнее →