Linux Foundation и 120 компаний создали стандарт SAFE для защиты ИИ-агентов

Linux Foundation представила проект стандарта SAFE (Shared AI Findings Exchange) для обмена информацией об инцидентах в сфере агентного искусственного интеллекта. Инициатива реализуется альянсом Open Secure AI Alliance, в который сейчас входят более 120 организаций, включая NVIDIA, Cisco, CrowdStrike и Hugging Face. Документ предлагает механизм конфиденциального сбора данных о кибератаках и сбоев в работе агентов, чтобы превратить опыт отдельных компаний в общую защиту всей экосистемы.

Единая база данных об инцидентах позволяет превратить локальный сбой в один из узлов сети в коллективный опыт, ускоряя реакцию на новые угрозы для всех участников рынка.

Как работает новая система безопасности

Проект SAFE направлен на решение проблемы фрагментарности в защите ИИ-агентов. Вместо того чтобы каждая компания скрывала детали атак, альянс предлагает публиковать обезличенные данные о повторных сбоях в контроле и доказательные рекомендации по их устранению. Это позволяет снизить системные риски, которые возникают при масштабировании автономных систем.

Ключевые элементы предлагаемого подхода:

• Конфиденциальный сбор: Инциденты и «почти случившиеся» сбои собираются в защищенном режиме.
• Анализ причин: Выявляются повторяющиеся ошибки в настройках безопасности.
• Публикация решений: На основе данных формируются рекомендации по эксплуатации, доступные всем участникам.

Инструменты и технологии участников альянса

Участники Open Secure AI Alliance уже разработали набор открытых инструментов, покрывающих все уровни стека безопасности ИИ. Решения позволяют контролировать не только модель, но и систему в целом: управление идентификацией, логи, ограничения и оценку рисков.

Управление доступом и идентификация

• Okta: Разрабатывает реализации для доступа агентов к корпоративным приложениям через открытый протокол Cross App Access (XAA).
• Palo Alto Networks: Предоставляет инструменты Agent Guard и Agent Watch для безопасного управления секретами в рабочих процессах.
• Red Hat: Проект asago связывает требования регуляторов (например, NIST, OWASP, EU AI Act) с реальными действиями агентов, создавая единый аудит-трейл.

Оркестрация и тестирование

• Amazon: Предоставляет Strands Agents (набор инструментов для разработки) и язык авторизации Cedar для жесткого контроля действий агентов.
• Microsoft: Открыла доступ к наборам PyRIT (автоматизированное тестирование на уязвимости) и Assert (преобразование требований в проверяемые сценарии).
• Wiz: Представила Atlas — автономный движок для поиска уязвимостей в коде и пакетах.
• Visa: Предоставила Visa Vulnerability Agentic Harness для быстрого выявления и исправления проблем.

Специализированные модели и защита данных

• NVIDIA: Предлагает семейство моделей (Nemotron, Cosmos, Isaac GR00T, BioNeMo, Alpamayo) с открытыми весами и инструментами NeMo Guardrails для контроля безопасности.
• CrowdStrike: Адаптирует модель Nemotron Nano для задач киберзащиты, достигая 96% точности в генерации запросов для расследований.
• Mistral: Выпустила классификатор безопасности Shieldstral с открытыми весами.
• Uber: Открыла систему ADR, которая восстанавливает полную цепочку действий агента от запроса до результата. Система обрабатывает более 200 000 сессий ежедневно.

Использование специализированных небольших моделей для задач безопасности часто оказывается эффективнее крупных универсальных моделей, так как они быстрее реагируют и дают более предсказуемые результаты в узких задачах.

Практические последствия для бизнеса

Внедрение стандарта SAFE и использование предложенных инструментов потребует от компаний пересмотра подходов к защите ИИ-систем.

• Смена парадигмы защиты: Безопасность перестает быть задачей только сканирования уязвимостей. Теперь требуется контроль над всем жизненным циклом агента: от его «мозга» (модели) до «тела» (инструментов и оркестратора).
• Необходимость прозрачности: Для работы в новой экосистеме компаниям придется делиться данными об инцидентах (в обезличенном виде), что требует налаженных процессов внутреннего аудита и анонимизации.
• Рост требований к инфраструктуре: Внедрение инструментов типа OpenShell или asago потребует интеграции с существующими системами управления доступом и политиками безопасности.
• Зависимость от сообщества: Эффективность защиты будет напрямую зависеть от скорости обмена данными между участниками альянса. Компании, не участвующие в обмене информацией, рискуют отстать в скорости реакции на новые угрозы.

Отказ от изолированной защиты в пользу коллективного обмена данными об угрозах становится единственным способом удерживать темп развития кибербезопасности на уровне скорости работы самих ИИ-агентов.