AIDER Polyglot System

Aider Polyglot как маркетинговый инструмент для оценки ИИ

Aider Polyglot — один из бенчмарков, на котором компании, такие как OpenAI, демонстрируют способности своих моделей, включая GPT-5. Он оценивает, в частности, навыки работы с кодом и понимание различных языковых задач. Однако исследование Оксфордского интернет-института показало, что большинство подобных тестов, включая Aider Polyglot, не соответствуют строгим научным стандартам. Это связано с отсутствием чётких определений измеряемых понятий и использования неслучайных выборок, что делает их результаты сомнительными в качестве объективной метрики.

Подробнее →