Linux Foundation представила SAFE — глобальную платформу для обмена ИИ-инцидентами в формате RFC
Индустрия искусственного интеллекта (ИИ) хочет перенять один из главных принципов классической кибербезопасности: если одна компания столкнулась с новой атакой или опасным поведением ИИ-агента, остальные должны узнать об угрозе до того, как столкнутся с ней сами. Участники Open Secure AI Alliance предложили для такого обмена новый формат Shared AI Findings Exchange, или SAFE.
Проект пока не стал готовым стандартом. Linux Foundation опубликовала первую версию SAFE в формате Request for Comments (RFC) и предложила участникам отрасли обсудить и доработать правила. Над документом работает группа Open Secure AI Alliance, в которую входят NVIDIA, Cisco, CrowdStrike, Hugging Face, Red Hat и другие компании. Всего альянс объединяет уже более 120 организаций.
Разработчики SAFE предлагают конфиденциально собирать сведения об инцидентах с ИИ и ситуациях, когда опасного события удалось избежать в последний момент. Участники смогут анализировать такие случаи, предупреждать затронутые организации, искать повторяющиеся сбои защитных механизмов и выпускать практические рекомендации для всей отрасли. В результате ошибка или новая техника атаки, обнаруженная в одной системе, сможет помочь усилить защиту других ИИ-платформ.
Подобный механизм особенно актуален для автономных ИИ-агентов. Современный агент состоит не только из языковой модели, но и получает доступ к инструментам, файлам, учетным записям, API и корпоративным системам. Ошибка в правах доступа, защите от prompt injection или механизме вызова инструментов способна привести уже не к неправильному ответу чат-бота, а к реальным действиям внутри инфраструктуры.
Open Secure AI Alliance параллельно собирает открытый набор технологий для защиты таких систем. NVIDIA предоставила среду OpenShell, которая ограничивает доступ агентов к ресурсам, исследовательский фреймворк NOOA для тестирования и аудита поведения агентов, а также сканер Garak для поиска утечек данных, prompt injection и способов обхода защитных ограничений. Свои инструменты открывают Microsoft, Cisco, Cloudflare, Visa, Palo Alto Networks и другие участники альянса.
SAFE фактически пытается создать для безопасности ИИ механизм коллективной памяти. Вместо ситуации, когда каждая компания самостоятельно расследует одинаковые сбои и атаки, участники смогут превращать реальные инциденты в общие защитные практики и тесты. Насколько широко такой обмен заработает на практике, будет зависеть от итоговых правил SAFE и готовности компаний делиться чувствительной информацией об ошибках собственных ИИ-систем.