«Бенчмаркинговые тесты»

Сомнительная роль бенчмарков в оценке ИИ

Бенчмарки — это тесты, на которых основываются заявления компаний об эффективности их моделей искусственного интеллекта, но большинство из них не соответствуют научным стандартам. В исследовании, проведенном Оксфордским интернет-институтом, из 445 бенчмарков только 16% были признаны строгими. Остальные страдают от нечетких определений и непредставительных выборок, что делает их ненадежными для объективного сравнения моделей. Компании, такие как OpenAI, активно используют такие тесты в маркетинговых целях, но без научной обоснованности их результаты остаются спорными.

Подробнее →