Оценка ИИ-агентов

Оценка ИИ-агентов смещается от изолированных метрик к расчету ожидаемого времени до успеха и валидируемой работы за секунду

В индустрии LLM формируется новый подход к анализу автономных систем, где ключевым фактором становится не разовая точность или скорость генерации токенов, а способность агента достигать верного результата за минимальное время с учетом итераций. Традиционные бенчмарки игнорируют динамику взаимодействия со средой, что приводит к неверному выбору архитектур для практических задач.

Исследование: Предложен новый стандарт Persistent Challenge Completion (PCC), требующий от агента продолжать работу до решения задачи или исчерпания времени с фиксированным тайм-бюджетом.

Фактор: Метрика «ожидаемое время до успеха» (время на попытку деленное на вероятность успеха) показывает, что быстрая модель с точностью 60% может превосходить медленную модель с точностью 90%, если среда предоставляет дешевую обратную связь.

Инсайт: Для задач с объективной валидацией (кодирование) скорость итераций важнее «сырого» интеллекта, тогда как для задач без внешней проверки (математика) критична высокая точность во избежание каскадных ошибок.

Эффект: Выбор конфигурации модели должен базироваться на природе задачи: приоритет скорости для интерактивных задач с четкой обратной связью и приоритет надежности для длинных цепочек действий без автоматической проверки.

Подробнее →