США готовятся к восстанию искусственного интеллекта. Инструкцию написали, кнопку спасения пока ищут
Американские ведомства NIST, АНБ и CISA выпустили совместные рекомендации на случай, если ИИ-агенты начнут действовать вопреки заданиям разработчиков и обходить установленные ограничения. Документ описывает, как обнаруживать подобные инциденты, останавливать автономные системы и возвращать контроль над их работой.
Рекомендации опубликовали 16 октября 2026 года. Над документом работали Национальный институт стандартов и технологий США (NIST), Центр безопасности суперинтеллекта АНБ (SISC) и Агентство по кибербезопасности и защите инфраструктуры (CISA). Авторы выделили десять основных практик, охватывающих подготовку, обнаружение инцидентов, реагирование, восстановление и раскрытие информации.
Главную угрозу разработчики документа видят в поведении автономных систем, которые способны самостоятельно планировать действия, обращаться к инструментам и взаимодействовать с внешней инфраструктурой. В отличие от обычного чат-бота, ИИ-агент может выполнять последовательность операций без постоянного участия человека. Если система нарушит установленные границы, последствия могут затронуть не только разработчика, но и сторонние организации.
Ведомства предлагают считать отдельной категорией инцидентов ситуации, когда агент без соответствующего указания нарушает правила, ограничения или механизмы человеческого контроля. Среди возможных сценариев названы несанкционированные финансовые операции, обращения к внешним системам, манипуляции физическими устройствами и эксплуатация уязвимостей. Причём для возникновения инцидента необязательно участие хакера. Опасное действие может исходить от самой модели.
Для предотвращения подобных ситуаций авторы предлагают ограничивать доступ агентов к данным, инструментам и сетям, разрешать только необходимые соединения и использовать изолированную инфраструктуру. Отдельное внимание уделено каналам, через которые модель может создавать собственные копии, взаимодействовать с другими агентами или сохранять возможность выполнять операции после отключения основных компонентов. Защитные механизмы рекомендуют заранее проверять в ходе испытаний.
Ещё одна задача связана с наблюдением за действиями нейросетей. Разработчикам предлагают контролировать обращения к инструментам, сетевую активность, последовательность решений и результаты работы агентов. При этом средства мониторинга должны оставаться недоступными для самих контролируемых систем. Ведомства также допускают применение нескольких независимых моделей для взаимной проверки, поскольку использование одного ИИ для наблюдения за другим создаёт дополнительные риски.
Если агент всё же нарушил ограничения, организация должна иметь возможность немедленно остановить опасную последовательность действий. В зависимости от серьёзности инцидента рекомендации допускают приостановку обучения, тестирования или эксплуатации других похожих агентов. После остановки необходимо проверить доступы, отозвать потенциально скомпрометированные учётные данные, найти скрытые каналы связи и убедиться, что система не сохранила возможности продолжить работу незаметно.
Для расследования предлагается сохранять журналы событий, историю вызовов инструментов, конфигурацию среды и промежуточные состояния моделей. Такие сведения помогут восстановить последовательность действий и установить причины нарушения ограничений. Авторы отдельно предупреждают, что при устранении проблемы во время обучения нельзя просто подавлять обнаруженное поведение таким образом, чтобы модель научилась лучше скрывать опасные действия от наблюдателей.
Документ также разграничивает самостоятельное нарушение ограничений и действия, вызванные внешней атакой. Например, если злоумышленник заставил модель выполнить опасную команду через внедрение вредоносной инструкции в обрабатываемые данные, подобный случай не считается самостоятельным нарушением контроля в принятом авторами определении. Однако один инцидент может одновременно затрагивать безопасность ИИ и представлять собой обычную кибератаку.
Отдельные рекомендации посвящены уведомлению пострадавших организаций, государственных ведомств и общественности. Разработчикам предлагают сообщать не только о произошедших инцидентах, но и о ситуациях, когда нарушение удалось предотвратить в последний момент. Подобные сведения могут помочь другим компаниям обнаружить слабые места в собственных системах. При этом документ не вводит новых обязательных требований к отчётности, а предлагает добровольно делиться информацией сверх уже действующих юридических обязанностей.
Несмотря на наличие конкретных технических подходов, 14-страничный документ остаётся преимущественно рамочным. Ведомства не предлагают готовых программных решений, универсальных настроек или проверенного способа гарантированно удерживать автономный ИИ под контролем. Основой служат действующие подходы к кибербезопасности, включая NIST Cybersecurity Framework 2.0 и стандарт SP 800-61 Rev. 3. Реализацию защитных механизмов оставили разработчикам.
Любопытная особенность публикации связана с терминологией. Американские ведомства практически полностью заменили привычное Artificial Intelligence (AI) на Super Intelligence (SI), то есть «суперинтеллект». Причина не в появлении принципиально нового класса нейросетей. 29 сентября Дональд Трамп подписал указ № 14434, предписывающий федеральным органам исполнительной власти использовать новое название в официальных коммуникациях, документах и на государственных сайтах.
Администрация Трампа объяснила переименование тем, что слово «искусственный» якобы недостаточно точно отражает возможности современных технологий. Согласно указу, термин Super Intelligence пока охватывает те же системы, которые американское законодательство относит к искусственному интеллекту. Следовательно, использование нового названия само по себе не означает, что существующие модели достигли уровня интеллекта, превосходящего человеческий.
Терминологическая перемена затронула и государственные структуры. Прежний Центр стандартов и инноваций в области ИИ (CAISI) получил название Center for Advancing Innovation and Standards for Super Intelligence (CAISSI). Даже в октябрьской публикации NIST ссылается на американский план развития SI от 2025 года, хотя первоначальный документ Белого дома назывался America's AI Action Plan.
Новые рекомендации продолжают работу, которую NIST и другие ведомства ведут над безопасностью автономных моделей. В мае 2026 года институт провёл специальный семинар по управлению инцидентами с ИИ, а ранее специалисты по кибербезопасности неоднократно обращали внимание на необходимость ограничивать полномочия агентов при взаимодействии с корпоративной инфраструктурой. Октябрьский документ закрепляет подход на уровне межведомственных рекомендаций, но сами авторы признают, что методы мониторинга, оценки опасности и безопасного восстановления систем ещё предстоит развивать.