Persistent Challenge Completion
Persistent Challenge Completion в новостной повестке, календарь упоминаний и aналитика в реальном времени.
Календарь упоминаний:
2026
16 сентября
Сонни ДеСорбо предлагает Persistent Challenge Completion как новый стандарт оценки автономных ИИ-агентов
Автор статьи на Hacker News вводит протокол PCC для измерения эффективности моделей в условиях длительной работы над задачей. В отличие от статичных тестов, этот подход фиксирует время до успеха и качество восстановления после ошибок. Методика учитывает возможность агента использовать обратную связь среды для исправления неудачных попыток.
Анонс: Предложен новый бенчмарк, требующий от модели продолжать работу до решения задачи или исчерпания времени, с акцентом на объективную валидацию результата внешними инструментами.
Фактор: В основу оценки заложена метрика VWS (Validated Work per Second), которая делит количество успешно завершенных задач на общее затраченное время, учитывая динамику прогресса и способность к восстановлению после сбоев.
В нашей базе собрано 1 событие по теме «Persistent Challenge Completion». Мы показываем все из них.