Сонни ДеСорбо

Сонни ДеСорбо предложил новый метод оценки ИИ-агентов, где скорость итераций важнее «сырого» интеллекта

В публикации на Hacker News автор утверждает, что традиционные метрики точности и скорости генерации вводят в заблуждение при выборе моделей для автономных систем. Он предлагает использовать показатель ожидаемого времени до успеха, который учитывает вероятность ошибки и время на одну попытку. Согласно этой логике, быстрая модель с меньшей точностью может быть эффективнее медленной, если среда предоставляет дешевую объективную обратную связь для исправления ошибок.

Событие: Сонни ДеСорбо опубликовал статью на Hacker News, в которой обосновывает приоритет метрики «ожидаемое время до успеха» над изолированными показателями точности или скорости генерации токенов.

Инсайт: Для задач с автоматической проверкой (например, компиляция кода) быстрая квантизация модели может быть выгоднее более точной, так как позволяет совершать больше итераций исправления ошибок за единицу времени.

Анонс: Предложен новый стандарт оценки Persistent Challenge Completion (PCC), требующий от агента работать до полного решения задачи в рамках фиксированного тайм-бюджета с использованием внешней объективной валидации.

Подробнее →