CIVOS

CIVOS опроверг гипотезу об эмерджентности в мультиагентных ИИ-системах

Команда VIDRAFT_LAB представила результаты эксперимента CIVOS, показавшего, что сложное поведение ИИ-агентов, создающих цивилизации, является преимущественно воспроизведением знаний из обучающих данных, а не самостоятельным поиском решений. Исследователи доказали, что без доступа к предварительным знаниям эффективность агентов резко падает, а использование неверных данных приводит к худшим результатам, чем их полное отсутствие. Эти данные ставят под сомнение достоверность многих прошлых отчетов о «прорывах» в области искусственного интеллекта и требуют пересмотра методологий оценки прогресса моделей.

Исследование: Эксперимент с 200 000 повторений методом перестановок выявил, что блокировка доступа к базе знаний приводит к резкому падению производительности агентов, подтверждая их зависимость от заученных сценариев человеческой истории.

Фактор: Использование заведомо неверных данных в качестве обучающей базы оказалось более разрушительным для эффективности системы, чем полное отсутствие каких-либо предварительных знаний, что подтвердилось в 40 из 40 парных тестов.

Риск: Отсутствие специализированных контрольных механизмов делает невозможным различение настоящего инновационного поведения и механического воспроизведения паттернов, что приводит к статистически несостоятельным выводам о способностях ИИ.

Эффект: Результаты эксперимента указывают на необходимость внедрения «слепых» тестов для валидации мультиагентных систем, так как текущие демонстрации могут переоценивать реальный потенциал моделей к генерации новых решений в неизученных средах.

Подробнее →