Anthropic и Accenture вложили миллиарды в независимый аудит ИИ внутри компании

Anthropic объявила о партнерстве с Accenture для внедрения независимых оценщиков безопасности прямо внутри компании. Это решение реализует обещание CEO Anthropic в эссе «We Must Pace the Frontier» (Мы должны регулировать темп развития) по интеграции экспертов по оценке рисков в структуру разработчика ИИ. Партнерство возглавит подразделение Faculty, специализирующееся на ИИ-решениях для бизнеса и госструктур.

Обе стороны планируют инвестировать не менее $1 млрд каждая в развитие этой компетенции в течение ближайших пяти лет. Совокупные инвестиции составят $2 млрд, что направлено на создание инфраструктуры для постоянного мониторинга моделей искусственного интеллекта.

Как работает «встроенная» оценка

Традиционные внешние аудиты часто ограничены доступом к готовым продуктам. Новый подход предполагает, что оценщики будут работать внутри Anthropic с правами доступа, сопоставимыми с внутренними сотрудниками. Это позволяет им:

• Наблюдать за процессом обучения моделей в реальном времени.
• Следить за решениями, определяющими архитектуру и развертывание ИИ.
• Проводить прямые интервью с разработчиками.
• Выявлять «слепые зоны» в безопасности и проверять выполнение компанией собственных обязательств по защите данных.

Такой формат делает безопасность более прозрачной и проверяемой, хотя Anthropic подчеркивает, что ответственность за безопасность моделей остается на самой компании. Оценщики не заменяют внутренний контроль, а добавляют к нему внешний независимый взгляд.

Экономические и организационные условия

Механизм финансирования независимых оценок пока не стандартизирован. В идеале, по мнению Anthropic, такие расходы должны покрываться из общих отраслевых фондов или государственных источников, как предлагалось в их «Advanced AI Framework» (Рамочной программе для передового ИИ) в июне. Поскольку таких систем нет, компания финансирует работу Accenture напрямую.

Партнерство носит неэксклюзивный характер:

• Anthropic планирует привлекать других оценщиков, о которых будет объявлено в ближайшие недели.
• Accenture также будет оказывать аналогичные услуги другим разработчикам ИИ.
• Ведутся переговоры с METR и другими некоммерческими организациями для пилотных проектов с использованием их собственных средств.

Инвестиция $2 млрд в инфраструктуру безопасности сигнализирует о том, что проверка ИИ-моделей становится самостоятельной отраслью услуг, требующей специализированных компетенций и значительного капитала, а не просто административной процедурой.

Операционные последствия для рынка ИИ

• Рост затрат на безопасность: Крупные лаборатории ИИ вынуждены закладывать в бюджет миллиардные суммы на независимый аудит. Это может повысить стоимость разработки передовых моделей и перераспределить ресурсы от создания новых функций к обеспечению их надежности.
• Новая роль консалтинга: Компании вроде Accenture переходят от роли поставщиков ИИ-решений к позиции независимых регуляторов рынка. Их экспертиза в том, как бизнес реально использует ИИ, становится критическим активом для оценки рисков внедрения.
• Стандартизация доступа: Отсутствие единых стандартов того, какой информацией должны делиться разработчики с оценщиками, создает правовую и техническую неопределенность. Формирование этих норм станет ключевым вызовом для всей отрасли в ближайшие годы.
• Прозрачность инцидентов: Наличие «встроенных» оценщиков должно ускорить выявление и публичное раскрытие инцидентов безопасности, таких как несанкционированный доступ моделей к компьютерным системам, что ранее могло оставаться скрытым от внешнего мира.