Codex в аналитике: высокая точность при ясных правилах и риск ошибок в сложных метриках

Исследование, опубликованное в июле 2026 года авторами Чисонг Цю, Цзяфу Вэй и Чэнь Ян, дает четкий ответ на вопрос о способности современных языковых моделей справляться с реальными задачами анализа данных. Тестирование показало, что модель Codex достигла уровня практической полезности, но только при условии строгой регламентации входных данных. Система демонстрирует высокую эффективность в сценариях, где правила ясны, данные доступны, а структура схем определена. Однако для получения надежных результатов человеческий контроль остается обязательным этапом: специалисты должны формулировать определения метрик, предоставлять контекст предметной области и проводить валидацию итогов.

Эксперименты охватили два ключевых направления: бизнес-аналитику и научные исследования. В бизнес-сценариях, включающих сложные правила начисления комиссий и работу с разнородными файлами, модель показала стабильные результаты. Так, при работе с явно прописанными правилами Codex успешно справился с 8 из 8 задач по обработке файлов Excel и изображений. В задачах с открытым характером, требующих генерации полного отчета, система выполнила 5 из 5 заданий, хотя в двух случаях выводы отклонились от эталонных из-за недостаточной детализации правил. В научном секторе, особенно при работе с медицинскими формулами, точность составила 83,7%, но упала до 51,95% в задачах по анализу биологических данных, где требовалась интерпретация неявных метрик.

Сильные стороны и зоны риска

Анализ выявил четкую закономерность: Codex отлично справляется с исполнением алгоритмов, когда логика задачи предельно прозрачна. Модель без ошибок решает задачи по расчету индекса массы тела (BMI) и клиренса креатинина, а также корректно обрабатывает даты и физические измерения. Система способна читать сложные файлы, писать скрипты, проверять промежуточные результаты и извлекать структурированную информацию. В задачах стандартной статистической аналитики, где четко задана цель и метод группировки, модель демонстрирует результаты, близкие к работе профессиональных аналитиков.

Однако основные ошибки возникают не из-за неспособности модели к вычислениям, а из-за разрыва между естественным языком запроса и точными определениями в базе данных. Четыре категории проблем стали причиной большинства сбоев:

• Несовпадение понятий: Пользователь может спросить о «активных пользователях», не уточнив, считать ли в эту группу тестовые аккаунты или тех, кто вернул покупку. Модель выбирает наиболее вероятное, но не всегда верное определение, что искажает итоговую цифру.
• Ошибки при соединении таблиц: При работе с несколькими таблицами (заказы, детали заказов, платежи) модель может неверно выбрать знаменатель для усреднения. SQL-запрос выполняется без ошибок, но результат математически неверен из-за неправильного понимания гранулярности данных.
• Неявные формулы: В задачах, требующих сложных медицинских расчетов или сегментированного скоринга, отсутствие точного описания формулы приводит к ошибкам. Модель опирается на свои внутренние знания, которые могут не совпадать с конкретными требованиями задачи.
• Некорректные источники данных: Если пользователь предоставляет шумные или неполные файлы, модель не может вывести правильный ответ. В ряде случаев неудача была вызвана не алгоритмом, а отсутствием необходимых меток или сырых данных в предоставленном наборе.

Стратегия эффективного взаимодействия

Для минимизации рисков и повышения точности аналитики исследователи предлагают изменить подход к работе с инструментом. Ключевым фактором успеха становится не сам запрос, а качество подготовки контекста. Эксперимент с добавлением правильных определений метрик в промпт показал, что многие ранее неудачные задачи решаются корректно. Это подтверждает, что проблема часто лежит в плоскости отсутствия фоновых знаний, а не в недостатке вычислительной мощности модели.

Рекомендуемый рабочий процесс включает три обязательных шага. Во-первых, необходимо обеспечить точность источников данных. Пользователь должен явно описывать назначение каждой таблицы, значение полей и правила соединения. Это снижает необходимость для модели делать предположения о структуре данных. Во-вторых, следует использовать специальные навыки (Skills) для кодирования фоновых знаний. В них заранее прописываются определения терминов, точные формулы метрик и типовые сценарии ошибок. Это позволяет системе использовать единый стандарт интерпретации для повторяющихся задач.

В-третьих, критически важна валидация процесса, а не только результата. Поскольку код может выполняться без сбоев, но содержать логические ошибки в фильтрации или выборе данных, человеку необходимо проверять промежуточные таблицы и логику вычислений. Реалистичная позиция заключается в том, чтобы рассматривать Codex как мощного ассистента, а не автономного эксперта. Модель берет на себя рутину: чтение файлов, написание кода, генерацию графиков и оформление отчетов. Человек же сохраняет за собой функции архитектора: он формулирует задачу, задает метрики, выбирает данные и подтверждает выводы. В таком режиме сотрудничества инструмент уже сегодня способен существенно повысить эффективность аналитики, снижая порог входа в работу с данными, но не заменяя профессионального суждения.

Исследование 2026 года, посвященное возможностям модели Codex, развенчало главный миф рынка: ИИ не заменит аналитика, если он не готов превратить бизнес в набор строгих инструкций. Модель демонстрирует высокую точность в сценариях с ясными правилами, но терпит крах там, где требуется понимание контекста. В задачах с четкой логикой система справляется безупречно, однако в сложных медицинских расчетах точность падает с 83,7% до 51,95%. Это не случайная ошибка, а системная проблема: алгоритм не обладает здравым смыслом и не может отличить «прибыль до налогов» от «прибыли после», если это не прописано в коде.

Неверное понимание понятий

Ситуация усугубляется позицией самих разработчиков. Microsoft официально предупредила, что её инструмент Copilot в Excel предназначен для развлечений и не гарантирует точности в финансовых вопросах. Компания снимает с себя ответственность за ошибки, перекладывая риск на пользователя [!]. Это подтверждает вывод исследователей: ИИ — идеальный, но слепой исполнитель. Он безупречно считает то, что ему сказано, даже если это ведет к неверному бизнес-решению. Код работает, математика верна, но смысл искажен из-за разрыва между естественным языком запроса и реальностью компании.

Важный нюанс: Главная угроза для бизнеса — не в том, что ИИ ошибется в вычислениях, а в том, что он выдаст результат с идеальной точностью, но на основе неверного понимания понятий.

Реакция российского рынка

Почти 70% предпринимателей в России используют нейросети для рутинных задач, но лишь 12% технических директоров готовы доверить ИИ стратегическое планирование [!] [!]. Большинство рассматривает технологии как помощника, а не как автономного эксперта. Около 23% компаний отказываются от внедрения из-за страха юридических последствий и недоверия к результатам. Это означает, что попытка делегировать аналитику «волшебной кнопке» без жесткого контроля обречена на провал. Ошибки в соединении таблиц или выборе знаменателя для усреднения могут исказить отчетность так, что компания увидит рост продаж там, где на деле выручка упала.

Проблема кроется в «семантическом разрыве». Пользователь спрашивает об «активных пользователях», но не уточняет, включать ли в эту группу тестовые аккаунты. Модель выбирает наиболее вероятное определение из своих данных, которое часто не совпадает с реальностью бизнеса. В сценариях с медицинскими или биологическими данными, где цена ошибки высока, такая неточность становится критической. Универсальные модели, подобные Codex, проигрывают узким специалистам из-за эффекта отрицательного переноса: попытка охватить всё приводит к падению качества в каждой конкретной нише [!].

i

Создано специально для ASECTOR

Концептуальное изображение

От чего зависит успех внедрения ИИ в аналитику

Для успешной работы требуется смена парадигмы. Человек перестает быть тем, кто пишет код, и становится архитектором смыслов. Его задача — не просить модель «посчитать прибыль», а жестко диктовать формулу: «Прибыль — это выручка минус себестоимость, минус налоги, без учета курсовых разниц». Без документированных бизнес-правил модель будет каждый раз «догадываться», что приведет к нестабильным результатам. Эффективность системы растет не от улучшения алгоритмов, а от качества описания контекста.

Компании сталкиваются с необходимостью пересобирать процессы подготовки данных. Раньше аналитик мог работать с «грязными» данными, делая поправки в уме. Теперь Codex требует идеальной структуры и четких определений. Это сдвигает расходы с этапа анализа на этап подготовки. Бизнесу придется инвестировать в очистку баз данных, создание глоссариев и фиксацию правил в библиотеках навыков. Те, кто не готов к этой «бюрократии данных», получат лишь красивую иллюзию контроля.

На фоне этого: Успех внедрения ИИ в аналитику зависит не от мощности модели, а от зрелости бизнес-процессов и качества документирования правил внутри компании.

В долгосрочной перспективе это приведет к появлению новой роли — инженера контекста, чья задача будет заключаться в переводе бизнес-языка на язык, понятный алгоритмам. Технологии берут на себя вычисления, а люди сохраняют за собой право определять, что именно нужно считать. Рынок переходит от эпохи «данных как есть» к эпохе «данных с контекстом». Фирмы с четкой документацией получат преимущество, так как их ИИ-инструменты будут работать быстрее и точнее. Для российских компаний это сигнал: инвестиции в ИТ-инфраструктуру должны сопровождаться инвестициями в методологию. Без прописанных правил даже самая продвинутая модель останется генератором красивых, но бесполезных отчетов.