GPT-5 превзошел конкурентов в тесте на пространственное мышление

Исследователи из SenseTime Research и S‑Lab Наньянского технологического университета провели масштабное исследование, посвященное пространственному восприятию у современных мультимодальных моделей. В работе приняли участие восемь популярных бенчмарков, а для тестирования было использовано более миллиарда токенов.

Единый стандарт оценки

Для унификации подхода к тестированию авторы предложили универсальную схему из шести базовых пространственных умений:

• метрические оценки;
• мысленная реконструкция;
• пространственные отношения;
• смена перспективы;
• деформация и сборка;
• комплексное рассуждение.

Это позволило сравнивать модели на общей основе, а также стандартизировать системные промпты, шаблоны ответов и метрики.

GPT-5 лидирует, но есть куда стремиться

В ходе исследования модель GPT-5 продемонстрировала впечатляющие результаты, уверенно обойдя конкурентов, таких как Gemini‑2. 5‑Pro и линейку InternVL. GPT-5 показал результаты, сравнимые с человеческими, в задачах, связанных с оценкой расстояний и пониманием пространственного расположения объектов.

Однако в более сложных категориях, таких как мысленная сборка объектов, смена ракурсов или симуляция действий, разрыв между GPT-5 и человеком по-прежнему велик.

Интересно, что в самых трудных случаях закрытые модели вроде GPT-5 не имеют явного преимущества над открытыми конкурентами.

Роль «токенов мышления»

Исследователи также изучили влияние количества «токенов мышления», используемых моделью для размышления, на точность ответа. Оказалось, что чем больше модель тратит «токенов», тем точнее ответ — но только до определённого предела. При слишком глубоком размышлении GPT-5 часто сталкивается с таймаутами и усечёнными ответами.

Чувствительность к порядку ответов

В ходе проверки на устойчивость к эффекту позиции вариантов в тестах с выбором ответа было выявлено, что при «жёсткой» круговой переупаковке — когда правильный ответ должен быть угадан независимо от позиции — точность GPT-5 резко падает. Это указывает на остаточную чувствительность модели к расположению опций.

Перспективы развития

В целом исследование показало, что модели уже уверенно справляются с базовыми задачами, где требуется оценка размеров и расположений. Однако там, где вступает в игру полноценное трёхмерное воображение, способность перестраивать мысленный образ и проводить логические операции в пространстве — GPT-5 пока далёк от человека. Пространственный интеллект остаётся одним из самых сложных и интересных рубежей для искусственного интеллекта.

Тестирование пространственного мышления у современных моделей, таких как GPT-5, выявило интересные закономерности развития искусственного интеллекта. GPT-5 демонстрирует впечатляющие результаты в задачах, связанных с оценкой расстояний и пониманием пространственного расположения объектов, что говорит о значительном прогрессе в области обработки информации.

Однако, сложности возникают при решении задач, требующих более высокого уровня абстракции, таких как мысленная сборка объектов, смена ракурсов или симуляция действий. Это указывает на то, что пространственный интеллект остается одной из наиболее сложных областей для AI.

Интересно отметить, что в самых трудных случаях закрытые модели вроде GPT-5 не имеют явного преимущества над открытыми конкурентами. Это может свидетельствовать о том, что открытый доступ к исходному коду и возможность совместного развития могут быть ключевыми факторами для преодоления текущих ограничений.

Дальнейшее развитие пространственного интеллекта у AI потребует новых подходов и алгоритмов, способных обрабатывать информацию в более абстрактной и гибкой форме, приближаясь к уровню человеческого восприятия.