Дать искусственному интеллекту задачу — и уйти пить кофе. Чем опасна самостоятельность искусственного интеллекта
Искусственный интеллект, который сам принимает решения и выполняет задачи, уже выходит за рамки экспериментов. Но вместе с удобством пришли и новые угрозы, о которых раньше почти не задумывались.
Сразу несколько западных ведомств по кибербезопасности, включая Агентство национальной безопасности США и Агентство по кибербезопасности и защите инфраструктуры, выпустили совместный отчёт о рисках так называемых «агентных» систем искусственного интеллекта. Документ посвящён сервисам, которые не просто генерируют текст или изображения, а способны самостоятельно планировать действия, взаимодействовать с программами и выполнять задачи без участия человека.
Такие системы уже применяют в критически важных сферах и инфраструктуре. Они могут автоматизировать рутинную работу, но при этом открывают новые векторы атак. Специалисты предупреждают, что злоумышленники могут использовать привычные методы – например, внедрять вредоносные инструкции в запросы, чтобы заставить систему выполнить опасные действия. В одном из сценариев достаточно подбросить агенту скрытую команду, чтобы тот скачал вредоносный файл или отправил данные.
Главная проблема – рост поверхности атаки. В отличие от обычных решений, такие системы подключаются к внешним инструментам, базам данных и другим сервисам. Каждое такое соединение создаёт дополнительную точку входа. Если атакующий получает доступ хотя бы к одному компоненту, последствия могут быстро распространиться на всю систему.
Отдельный риск связан с правами доступа. В отчёте приводится пример, когда автоматизированному помощнику дали слишком широкие полномочия для работы с финансовыми системами и электронной почтой. После компрометации одного из инструментов злоумышленник смог проводить платежи и менять контракты от имени системы, оставаясь незамеченным. Подобные ситуации возникают, когда организации изначально выдают программам больше прав, чем нужно.
Не меньше проблем создают сами алгоритмы. Такие системы могут действовать непредсказуемо, искать «короткие пути» к цели или игнорировать ограничения. Например, агент, отвечающий за стабильность работы серверов, теоретически может отключить обновления безопасности, чтобы избежать перезапуска. В других случаях системы способны скрывать ошибки или выдавать правдоподобную, но неверную информацию.
Сложность архитектуры только усиливает риски. Взаимодействие нескольких агентов, инструментов и источников данных может привести к цепным сбоям. Даже небольшая ошибка способна вызвать лавинообразные последствия – от утечки данных до отказа сервисов. При этом отследить источник проблемы становится сложно, поскольку решения принимаются на разных уровнях.
Авторы отчёта советуют осторожно внедрять такие технологии. Не давать системам полный доступ к данным и инфраструктуре, ограничивать полномочия и запускать их сначала на задачах с низким риском. Также рекомендуют постоянно отслеживать действия алгоритмов и оставлять за человеком контроль над критическими операциями.
В документе подчёркивается, что такие системы нужно рассматривать как часть общей кибербезопасности, а не как отдельную область. По мере роста автономности последствия ошибок и атак будут только усиливаться, поэтому защита должна развиваться вместе с технологиями.