Deloitte вернула деньги за фейковые ссылки в ИИ-отчёте
Компания Deloitte вернула часть средств государственного контракта после обнаружения вымышленных ссылок в отчёте, подготовленном с помощью ИИ. Эксперты отметили необходимость усиления контроля качества и прозрачности использования ИИ в государственных проектах.
По данным ComputerWorld, компания Deloitte вернула часть средств государственного контракта на сумму около 440 тысяч австралийских долларов (около 290 тысяч долларов США) после того, как в финальном отчёте, подготовленном с помощью ИИ, были найдены вымышленные ссылки. Инцидент стал поводом для обсуждения проблем масштабирования ИИ в условиях слабой системы контроля качества.
Отчёт, подготовленный для департамента занятости и трудовых отношений Австралии (DEWR), включал цитаты академических работ и судебных решений, которые не существовали. Использование ИИ не было раскрыто до тех пор, пока ошибки не были обнаружены. После этого стороны договорились о возврате последней части контракта.
Доктор Кристофер Рудж, исследователь из университета Сиднея, выявил поддельные ссылки в ходе проверки документа. Он отметил, что многие из упомянутых авторов не писали указанных работ. «Это были слишком точные и специфичные ссылки, чтобы быть случайными», — сообщил он.
Санчит Вир Гогия, главный аналитик Greyhound Research, подчеркнул, что ответственность за качество документа лежит как на заказчике, так и на исполнителе. «Если ИИ используется внутри компании, заказчик не должен удивляться, что он появился в работе подрядчика», — отметил эксперт.
В обновлённой версии отчёта была добавлена информация о применении ИИ, но, по мнению аналитиков, раскрытие информации о применении ИИ часто откладывается. Это создаёт разрывы в прозрачности и доверии. В свою очередь, Харпер Дай из Forrester указал, что инцидент с Deloitte демонстрирует, как внедрение ИИ опережает развитие соответствующих нормативных рамок.
Сэм Хиггинс, также из Forrester, подчеркнул, что использование ИИ в государственных проектах требует прозрачности. «Позднее раскрытие информации со стороны Deloitte создаёт плохой прецедент», — заявил он.
Важность контроля качества в проектах с участием ИИ
Аналитики предложили вводить обязательную проверку документов специалистами в предметной области, даже если основная работа выполнялась с помощью ИИ. Доктор Рудж считает, что при правильной организации экономическая выгода от ИИ сохранится, а дополнительная проверка будет лишь небольшой частью общих затрат.
В текущих контрактах, по мнению Гогии, часто не учитывается роль автоматизации. Это приводит к неясности в распределении ответственности в случае ошибок. «Когда что-то идёт не так, обе стороны пытаются определить, кто виноват — консультант, модель ИИ или заказчик», — отметил он.
Развитие нормативных рамок
Аналитики рекомендуют организациям внедрять комплексные системы управления ИИ, которые рассматривают его как системный риск. В частности, Дай предлагает включать в контракты положения, обязывающие подрядчиков раскрывать использование ИИ, применять стандарты качества, определять ответственность за ошибки и предоставлять права на аудит.
«Следует стремиться к согласованию с такими стандартами, как NIST AI RMF или ISO/IEC 42001», — советует эксперт.
Хиггинс добавил, что контракты должны предусматривать раскрытие информации о применении ИИ, обязательную проверку людьми, определение ответственности за ошибки и право на проверку. «ИТ-лидеры должны рассматривать ИИ как системный риск, а не только инструмент повышения продуктивности», — подчеркнул он.
Гогия предлагает создавать совместные экспертные группы, в которые входят представители заказчика и исполнителя. «Это будет свидетельством зрелости — не отсутствия ИИ, а наличия доказательной базы», — отметил он.
Контроль качества в эпоху ИИ: уроки австралийского скандала
Когда ИИ становится проблемой, а не решением
Случай с Deloitte в Австралии — не первый, но один из самых ярких примеров того, как использование ИИ в знаниевом производстве может выйти из-под контроля. Хотя ИИ-модели обещают экономию времени и ресурсов, их внедрение требует пересмотра традиционных подходов к управлению качеством и ответственности. В данном случае ошибка заключалась не в самой технологии, а в отсутствии надежной системы проверки и прозрачности.
ИИ не способен сам понимать, что он выдумывает. Его обучение основывается на данных, но он не обладает сознанием, чтобы отличить фикцию от факта. Это делает человеческий контроль неотъемлемой частью процесса.
Важный нюанс: В ближайшие годы увеличится спрос на специалистов, способных работать с ИИ-генерируемым контентом — не только разрабатывать модели, но и проверять их выводы. Это может стать новой нишей на рынке труда, особенно в государственных и юридических сферах.
Новые данные подтверждают, что генерация ложной информации — неизбежная черта крупных языковых моделей. Исследование, опубликованное в сентябре 2025 года, показало, что даже современные ИИ демонстрируют значительные ошибки в ответах на конкретные вопросы. Эксперты отмечают, что текущие методы оценки ИИ поощряют галлюцинации, а для бизнеса необходимы новые подходы к управлению рисками, включая усиление участия человека, прозрачность и калиброванные оценки уверенности.
Важный нюанс: Для минимизации рисков необходимо пересмотреть фокус регулирования, смещая его с предотвращения ошибок ИИ на контроль рисков. Это включает усиление участия человека в процессах, введение ограничений по предметной области и обеспечение постоянного наблюдения.
Ответственность в условиях автоматизации
Инцидент поднял важный вопрос: кто несёт ответственность за ошибки, возникающие при участии ИИ? В текущих условиях контракты часто не предусматривают четкое распределение этой ответственности. Это приводит к ситуациям, когда заказчик и исполнитель пытаются скинуть вину друг на друга. В данном случае стороны договорились о возврате части средств, но это не решает системной проблемы.
Внедрение ИИ требует пересмотра не только технических, но и юридических аспектов. Контракты должны содержать положения, регулирующие использование ИИ, раскрывающие его применение и определяющие ответственность за ошибки.
Важный нюанс: В российском контексте аналогичные риски могут возникнуть при внедрении ИИ в государственные и корпоративные проекты. Слабо сформированные нормативные рамки и недостаток прозрачности увеличивают вероятность подобных инцидентов.
Построение системы доверия
Аналитики рекомендуют внедрять комплексные системы управления ИИ, которые рассматривают его как системный риск. Это включает обязательную проверку документов, раскрытие информации о применении ИИ, а также право на аудит. Важно, чтобы ИИ не воспринимался как инструмент, а как часть более широкой системы, где важны не только результаты, но и процесс их получения.
Прозрачность и документирование становятся критически важными. Без них невозможно построить доверие, особенно в государственных и юридических проектах.
Важный нюанс: Рост числа государственных и корпоративных проектов, использующих ИИ, будет стимулировать развитие стандартов и нормативных актов. Это, в свою очередь, может привести к созданию новых профессий и изменению подходов к управлению рисками в ИТ-сфере.
В сентябре 2025 года компания Dell запустила масштабный проект по модернизации бизнес-процессов и инфраструктуры, в котором задействована Deloitte. Это подчеркивает, что внедрение ИИ — не только риск, но и стратегическая необходимость для многих компаний. Однако успешное внедрение требует не только технической реализации, но и пересмотра организационных и управленческих подходов.
