AI не видит шестой палец: почему ИИ ошибается в простых вещах

По данным Ithome, эксперименты с искусственным интеллектом, направленные на оценку его способности к визуальному восприятию, выявили серьёзные ограничения современных моделей. Среди них — неспособность правильно определить количество пальцев на руке, особенно если оно отличается от стандартного.

Тестирование AI: стандартные шаблоны против реальности

В ходе тестов, пользователи предлагали ИИ-моделям, включая Nano Banana Pro и GPT-5.2, определить количество пальцев на изображении, где их было шесть. Несмотря на явную визуальную информацию, большинство моделей отвечали — пять. Причём, даже при наличии прямой подсказки о наличии шестого пальца, модели не могли переопределить своё суждение.

Эксперименты показали, что AI прибегает к упрощённой логике: если изображение соответствует шаблону «рука», то количество пальцев автоматически принимается за пять. Это связано с тем, что в обучающих данных такие образы доминируют, формируя у моделей устойчивую статистическую связь между «рука» и «пять пальцев».

Структура данных как ограничение

Современные ИИ-модели, основанные на архитектуре Transformer, обладают высокой способностью к обобщению, но сталкиваются с трудностями при работе с точными структурами. В случае с изображением руки с шестью пальцами, модель не может адекватно обработать информацию, поскольку её система восприятия работает на основе вероятностного подхода, а не точной геометрии.

Это ограничение проявляется в том, что AI не может одновременно учитывать и визуальные детали, и структурные особенности объекта. В отличие от человека, который способен синтезировать оба типа информации, модель действует по упрощённой логике: если объект похож на руку, то он должен иметь пять пальцев.

Пути решения

Для устранения подобных проблем, специалисты рассматривают возможность внедрения смешанных архитектур, где визуальные модели дополняются символическими структурами. Например, можно использовать 3D-сетки или геометрические ограничения, чтобы усилить способность AI к точному восприятию.

Также предлагаются улучшения в архитектуре моделей, включая локальные механизмы внимания и введение специализированных слоёв для обработки структурированных объектов. Это позволит системе лучше справляться с задачами, где важна точность и консистентность.

Интересно: Какие архитектурные изменения позволят AI корректно воспринимать визуальные структуры, отличные от обучающих данных, без потери производительности?

i

Создано специально для ASECTOR

Концептуальное изображение

Когда ИИ видит то, чего не видит: проблема стереотипов в машинном восприятии

Стереотипы в алгоритмах: как обучающие данные формируют восприятие

Искусственный интеллект, как и люди, учится на примерах. Но в отличие от человека, у которого есть возможность задавать вопросы и пересматривать свои убеждения, ИИ формирует свои представления на основе статистики, извлеченной из обучающих данных. В случае с визуальным восприятием — это миллиарды изображений, на которых руки, как правило, имеют пять пальцев.

Когда ИИ сталкивается с изображением, где пальцев шесть, он не может только «увидеть» это как человек. Его модель восприятия работает по принципу: «если объект похож на руку, значит, он имеет пять пальцев». Это не ошибка в алгоритме, а следствие того, как он устроен. Модель опирается на вероятности, а не на точные геометрические правила.

Важный нюанс: Современные ИИ-модели, основанные на архитектуре Transformer, не обладают способностью к «исключению» или «переосмыслению» — они предсказывают, исходя из того, что чаще всего встречается в данных [!].

Скрытые ограничения: когда ИИ не может быть точным

Проблема не в том, что ИИ не способен различать пальцы. Проблема в том, что он не может адекватно обработать информацию, которая выходит за рамки его обучающих данных. Это ограничение проявляется не только в визуальных задачах, но и во многих других сферах — например, в медицине, где модель может «видеть» типичную картину болезни, но пропустить редкие формы.

Такой подход работает хорошо, когда данные однородны. Но как только появляются аномалии, ИИ начинает «думать» по шаблону. Это похоже на человека, который видит необычное явление, но пытается объяснить его через привычные рамки. Модель же делает это механически, без возможности сомневаться или пересматривать своё мнение.

Важный нюанс: ИИ не обладает интуицией. Он не может «почувствовать», что что-то не так — только вычислив наиболее вероятный результат на основе статистики.

Перспективы развития: от вероятностей к точности

Для решения этой проблемы специалисты рассматривают архитектурные изменения, которые позволят ИИ лучше справляться с задачами, где важна точность. Например, использование геометрических ограничений или 3D-сеток может помочь системе учитывать структуру объекта, а не только его внешний вид. Также рассматриваются локальные механизмы внимания, которые позволят модели фокусироваться на деталях, а не только на общем образе.

Для российского бизнеса это особенно важно: внедрение ИИ в сферы, где требуется высокая точность — например, в промышленности или здравоохранении, — требует не только мощных алгоритмов, но и понимания их ограничений. Внедрение решений, основанных на вероятностном подходе, без учёта специфики задачи, может привести к ошибкам, которые сложно выявить и исправить.

Важный нюанс: Внедрение ИИ в критически важные процессы требует не только выбора правильной модели, но и адаптации её под специфику задачи — включая учёт возможных аномалий и отклонений от стандартных шаблонов.

Тестирование ИИ: новые методы и вызовы

Пока ИИ не может адекватно обрабатывать нестандартные входные данные, это становится важным фактором при оценке его применимости. Google недавно представила тест FACTS Benchmark Suite, который оценивает точность ИИ-ассистентов в четырёх сценариях. Лучшая модель, Gemini 3 Pro, показала 69% правильных ответов, но ни одна из тестируемых не превысила порог в 70%. Особенно слабыми оказались многомодальные задачи, где точность не превышала 50%. Это подчёркивает необходимость человеческого контроля, особенно в ответственных сферах, таких как финансы, здравоохранение и юриспруденция [!].

Новые направления: от производства к разработке

Тренды в использовании ИИ выходят за рамки чат-ботов и визуального анализа. Например, Volkswagen Group закрывает дрезденскую автомобильную фабрику и переориентирует её на исследования в области искусственного интеллекта, робототехники и чипов. В сотрудничестве с Техническим университетом Дрездена компания планирует инвестировать 5000 млн евро в этот проект в течение семи лет. Это решение связано с необходимостью адаптации к новым технологическим трендам и перераспределением производственных мощностей [!].

Риски и защита данных

Рост популярности ИИ-инструментов в повседневной работе увеличивает риски утечки личной и конфиденциальной информации. Публичные модели могут сохранять и использовать введённые данные для обучения, что делает их уязвимыми для утечки. Если пользователь вводит личные сведения, такие как медицинские данные, адреса или номера кредитных карт, модель может случайно вернуть их другому пользователю или стать целью взлома. Риск усиливается, когда сотрудники обсуждают незапатентованные разработки с публичными чат-ботами. Чтобы снизить угрозу, рекомендуется использовать корпоративные ИИ-инструменты, такие как Gemini, и регулярно удалять историю общения [!].

Вывод: Современные ИИ-модели демонстрируют высокую степень обобщения, но сталкиваются с трудностями при работе с точными структурами. Это ограничение проявляется в задачах визуального восприятия, медицинской диагностики, финансового анализа и других областях. Развитие смешанных архитектур, включающих геометрические ограничения и локальные механизмы внимания, может стать ключом к повышению точности ИИ. Для российского бизнеса важно не только внедрять ИИ, но и адаптировать его под специфику задач, учитывая риски и особенности применения.